[論文レビュー] Revision in Continuous Space: Unsupervised Text Style Transfer without Adversarial Learning

Dayiheng Liu, Jie Fu+3 more|arXiv (Cornell University)|May 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 4

ひとこと要約

本稿では、敵対的学習や明示的な分離を不要とする、勾配ベースの最適化を用いて連続空間で文を再編集する、新しい非教師ありテキストスタイル変換フレームワークを提案する。VAE、属性予測器、コンテンツ予測器を活用することで、制御可能で解釈可能で、複数の属性を同時に制御できるスタイル変換を実現し、3つのベンチマークタスクで5つの最先端手法を上回る性能を達成する。

ABSTRACT

Typical methods for unsupervised text style transfer often rely on two key ingredients: 1) seeking the explicit disentanglement of the content and the attributes, and 2) troublesome adversarial learning. In this paper, we show that neither of these components is indispensable. We propose a new framework that utilizes the gradients to revise the sentence in a continuous space during inference to achieve text style transfer. Our method consists of three key components: a variational auto-encoder (VAE), some attribute predictors (one for each attribute), and a content predictor. The VAE and the two types of predictors enable us to perform gradient-based optimization in the continuous space, which is mapped from sentences in a discrete space, to find the representation of a target sentence with the desired attributes and preserved content. Moreover, the proposed method naturally has the ability to simultaneously manipulate multiple fine-grained attributes, such as sentence length and the presence of specific words, when performing text style transfer tasks. Compared with previous adversarial learning based methods, the proposed method is more interpretable, controllable and easier to train. Extensive experimental studies on three popular text style transfer tasks show that the proposed method significantly outperforms five state-of-the-art methods.

研究の動機と目的

• 敵対的学習によるテキストスタイル変換の限界、たとえば学習の不安定性や不十分な分離を是正すること。
• 非教師ありテキストスタイル変換におけるコンテンツ・属性の明示的分離の必要性を排除すること。
• 感情、文の長さ、キーワードの有無といった、細かく分類された複数の属性を同時に制御できること。
• 推論時に勾配最適化による文表現の再編集によって、解釈可能性と制御性を向上させること。
• 並列学習データを必要とせず、テキストスタイル変換タスクで優れたパフォーマンスを達成すること。

提案手法

• 変分オートエンコーダー（VAE）は、離散的な文を滑らかな連続的潜在空間にマッピングし、潜在表現から再構成する。
• 属性予測器は、連続的潜在表現から特定の属性（例：感情、長さ）を予測するように学習する。
• コンテンツ予測器は、生成された文のBag-of-Words（BoW）特徴量を予測し、コンテンツの保持とキーワードの含め込みを強制する。
• 推論時、入力文の潜在表現を、属性予測器およびコンテンツ予測器の損失を用いて勾配降下法で再編集する。
• 最適化プロセスは、潜在コードを繰り返し調整することで、属性およびコンテンツ予測誤差を最小化し、望ましいスタイルを備えたターゲット文を生成する。
• 複数の属性の損失項を最適化目的関数に組み合わせることで、自然に多属性制御を実現できる。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習やコンテンツ・スタイルの明示的分離なしに、テキストスタイル変換を達成できるか？
• RQ2 連続空間における勾配ベースの再編集は、テキストスタイル変換における制御性と解釈可能性を向上させられるか？
• RQ3 文の長さやキーワードの有無といった、細かく分類された複数の属性を同時に制御できるか？
• RQ4 性能と学習安定性の観点から、最先端の敵対的学習ベースの手法と比較して、本手法はどのように差をつけるか？
• RQ5 複雑な属性の組み合わせを操作しても、高い自然さとコンテンツ保持性を維持できるか？

主な発見

• 提案手法は、3つの代表的なテキストスタイル変換ベンチマークで、5つの最先端手法を顕著に上回る性能を達成した。
• 感情変換タスクにおいて、感情、長さ、キーワードの同時制御で、93.0%の精度、183.7 Len%スコア、66.6 Key%スコアを達成した。
• 文の長さを短縮するタスクでは、87.6%の精度、60.9 Len%スコア、63.0 Key%スコアを達成し、困難な制御シナリオでも頑健であることが示された。
• 長さを延長する際には、短縮する場合よりも自然さとコンテンツ保持性が高く維持された。これは、制約下での長さ短縮の難易度の高さに起因する。
• 勾配チューニングにより、複数の多様な出力を得られるため、解釈可能性と制御性が向上した。
• アブレーションスタディにより、コンテンツ予測器が、特に複雑な属性操作タスクにおいて、コンテンツ保持性を顕著に向上させていることが確認された。