[論文レビュー] Revision in Continuous Space: Fine-Grained Control of Text Style Transfer.

Dayiheng Liu, Jie Fu+3 more|arXiv (Cornell University)|May 29, 2019

Topic Modeling参考文献 20被引用数 10

ひとこと要約

本稿では、敵対的学習や明示的な分離なしに連続空間内で文を修正する勾配ベースのテキストスタイル変換手法を提案する。VAE、属性予測器、コンテンツ予測器を活用することで、3つのベンチマークタスクで最先端の性能を達成しつつ、細かく、複数の属性を制御可能なスタイル変換を実現する。

ABSTRACT

Typical methods for unsupervised text style transfer often rely on two key ingredients: 1) seeking the explicit disentanglement of the content and the attributes, and 2) troublesome adversarial learning. In this paper, we show that neither of these components is indispensable. We propose a new framework that utilizes the gradients to revise the sentence in a continuous space during inference to achieve text style transfer. Our method consists of three key components: a variational auto-encoder (VAE), some attribute predictors (one for each attribute), and a content predictor. The VAE and the two types of predictors enable us to perform gradient-based optimization in the continuous space, which is mapped from sentences in a discrete space, to find the representation of a target sentence with the desired attributes and preserved content. Moreover, the proposed method naturally has the ability to simultaneously manipulate multiple fine-grained attributes, such as sentence length and the presence of specific words, when performing text style transfer tasks. Compared with previous adversarial learning based methods, the proposed method is more interpretable, controllable and easier to train. Extensive experimental studies on three popular text style transfer tasks show that the proposed method significantly outperforms five state-of-the-art methods.

研究の動機と目的

• 教師なしテキストスタイル変換における敵対的学習や明示的な分離に依存しない手法の実現。
• 文の長さや語の存在など、複数のテキスト属性の細かく連続的な操作を可能にすること。
• 従来の敵対的学習ベースの手法と比較して、解釈可能性、制御性、学習安定性の向上。
• 潜在空間における勾配ベースの最適化により、コンテンツの整合性を保ちながら高品質なスタイル変換を達成すること。

提案手法

• 本手法は、離散的な文を連続的な潜在空間にマッピングするための変分オートエンコーダー（VAE）を用いる。
• 属性予測器を訓練し、潜在空間内で特定のスタイル属性（例：感情、長さ）を同定する。
• コンテンツ予測器により、最適化中に意味の保存を保証し、潜在空間におけるコンテンツ類似度を測定する。
• 推論段階では、潜在表現を所望の属性に向かって勾配ベースの最適化により修正し、コンテンツのずれを最小限に抑える。
• 最適化プロセスでは、すべての属性予測器からの勾配信号を組み合わせることで、複数の属性を同時に調整する。
• 最終的な文は、修正された潜在表現からデコードされ、コンテンツを保持したスタイル付き出力を得る。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習やコンテンツとスタイルの明示的分離なしにテキストスタイル変換を達成できるか？
• RQ2 連続空間における勾配ベースの修正によって、細かく、複数の属性を制御可能なテキストスタイル変換が可能か？
• RQ3 敵対的学習ベースのベースラインと比較して、本手法の性能と学習安定性はどの程度か？
• RQ4 複数の属性を同時に転送する際、コンテンツをどの程度保持できるか？

主な発見

• 提案手法は、3つの一般的なテキストスタイル変換ベンチマークで、5つの最先端手法を顕著に上回る性能を達成した。
• 敵対的学習を用いず、学習安定性と解釈可能性の向上を実現した。
• フレームワークは、文の長さや語の存在といった、複数の細かく制御可能な属性の同時操作を自然にサポートする。
• 多様な属性の組み合わせにおいて、効果的かつ一貫したスタイル変換が実現でき、高い制御性を示した。