[論文レビュー] Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation

Ning Dai, Jianze Liang+2 more|arXiv (Cornell University)|May 14, 2019

Topic Modeling参考文献 29被引用数 11

ひとこと要約

本稿では、変換器の自己注意メカニズムを活用することで、分離された潜在表現を回避する新しいテキストスタイル変換モデル、Style Transformerを提案する。従来の敵対的分離に依存する手法とは異なり、注意を強化したエンコーダ・デコーダアーキテクチャにより、コンテンツを保持したままスタイルを直接転送する。2つのベンチマークデータセットにおいて、最先端のコンテンツ保持性能を達成した。

ABSTRACT

Disentangling the content and style in the latent space is prevalent in unpaired text style transfer. However, two major issues exist in most of the current neural models. 1) It is difficult to completely strip the style information from the semantics for a sentence. 2) The recurrent neural network (RNN) based encoder and decoder, mediated by the latent representation, cannot well deal with the issue of the long-term dependency, resulting in poor preservation of non-stylistic semantic content. In this paper, we propose the Style Transformer, which makes no assumption about the latent representation of source sentence and equips the power of attention mechanism in Transformer to achieve better style transfer and better content preservation.

研究の動機と目的

• 対応しないテキストスタイル変換における分離された潜在表現の限界、特にコンテンツ保持性能の低さと長距離依存関係の捉えにくさを解決すること。
• しばしばコンテンツ表現からスタイルを完全に除去できないため、分離を強制するための敵対的訓練の必要性を排除すること。
• 固定サイズの潜在ベクトルではなく、変換器アーキテクチャの完全な文脈モデリング能力を活用することで、コンテンツ保持を向上させること。
• デコーダが入力シーケンス全体に注目できる自己注意メカニズムを導入することで、圧縮された潜在コードに依存しないより効果的なスタイル変換を可能にすること。
• 明示的なコンテンツとスタイルの分離を要しないエンドツーエンドの訓練により、注意メカニズムを用いたモデルが、分離を明示的に要するモデルを上回ることを示すこと。

提案手法

• 固定サイズの潜在ベクトルを使用せずに、マルチヘッド自己注意メカニズムを用いて入力および出力シーケンスを直接モデル化する、変換器ベースのエンコーダ・デコーダアーキテクチャを提案する。
• 分離を伴わないコンテンツの保持とスタイルの制御を実現するため、自己再構成、サイクル再構成、敵対的損失を組み合わせた新しい訓練目的を採用する。
• 実文と生成文の混合物を入力として discriminator を訓練することで、スタイルの監視を提供し、モード崩壊を防ぐ。
• 入力の意味的コンテンツを保持するよう促すために、スタイル変換後に逆変換を行うサイクル再構成損失を導入する。
• 入力から一貫性があり意味的な文を生成できるようにするため、自己再構成損失を適用する。
• エンコーダおよびデコーダの両方でマルチヘッド注意を活用し、長距離依存関係を捉え、文脈モデリングを向上させる。

実験結果

リサーチクエスチョン

• RQ1 分離された潜在表現に依存しないTransformerベースのモデルは、対応しないテキストスタイル変換において、より優れたコンテンツ保持性能を達成できるか？
• RQ2 デコーダで自己注意と全シーケンス注目を用いることで、固定サイズの潜在コードに依存するRNNベースのモデルと比較して、コンテンツ保持が向上するか？
• RQ3 自己再構成、サイクル再構成、敵対的損失といった異なる訓練部品が、モデルの性能と安定性に与える影響は何か？
• RQ4 明示的な分離を要しないモデルでも、高品質なスタイル変換とコンテンツ保持が達成可能か？
• RQ5 discriminator 訓練における実文と生成文の相対的寄与度は何か？

主な発見

• Style Transformer は、Yelp および Amazon データセットの両方で最高のコンテンツ保持性能を達成し、マルチクラス設定では BLEU スコア 20.3、条件付き設定では 17.1 を記録した。
• 従来の最先端手法に比べ、コンテンツ保持性能が顕著に優れており、分離された潜在表現を避ける有効性が裏付けられた。
• 除去実験の結果、サイクル再構成損失を削除すると BLEU スコアが著しく低下（20.3 から 8.7 に）し、入力の意味的構造を保持する上で極めて重要な役割を果たしていることが確認された。
• discriminator 損失は不可欠である：これを除くと、モデルは入力文をそのままでコピーするようになり、スタイル正確度はたったの 3.3% にまで低下した。
• discriminator に実文のみを用いると、スタイル制御が悪化（20.7% の正確度）、一方で生成文のみを用いると良好な性能を維持するため、生成文がスタイル監視に不可欠であることが示された。
• 自己再構成損失は出力の流暢さを確保するために必要であり、これを無効にするとモデルは単一の単語しか生成しなくなるなど、崩壊を示した。