[論文レビュー] Cycle-Consistent Adversarial Autoencoders for Unsupervised Text Style Transfer

Yufang Huang, Wentao Zhu+4 more|arXiv (Cornell University)|Oct 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 7

ひとこと要約

本稿では、LSTMオートエンコーダー、対抗的スタイル転送ネットワーク、およびサイクル整合性制約を活用してコンテンツを保持しながらスタイルを転送する、非教師ありテキストスタイル転送のための新規エンドツーエンドフレームワークであるサイクル整合的対抗的オートエンコーダー（CAE）を提案する。CAEは、YelpおよびYahooデータセットにおいて、自動評価および人的評価の両方で、ベースラインを上回る最先端の性能を達成する。

ABSTRACT

Unsupervised text style transfer is full of challenges due to the lack of parallel data and difficulties in content preservation. In this paper, we propose a novel neural approach to unsupervised text style transfer, which we refer to as Cycle-consistent Adversarial autoEncoders (CAE) trained from non-parallel data. CAE consists of three essential components: (1) LSTM autoencoders that encode a text in one style into its latent representation and decode an encoded representation into its original text or a transferred representation into a style-transferred text, (2) adversarial style transfer networks that use an adversarially trained generator to transform a latent representation in one style into a representation in another style, and (3) a cycle-consistent constraint that enhances the capacity of the adversarial style transfer networks in content preservation. The entire CAE with these three components can be trained end-to-end. Extensive experiments and in-depth analyses on two widely-used public datasets consistently validate the effectiveness of proposed CAE in both style transfer and content preservation against several strong baselines in terms of four automatic evaluation metrics and human evaluation.

研究の動機と目的

• 並列データが存在しない非教師ありテキストスタイル転送の課題に対処すること。この場合、コンテンツの保持とスタイル転送のバランスを取るのが困難である。
• 自然言語におけるコンテンツとスタイルの微妙な相互作用のため、既存の手法がコンテンツとスタイルを十分に分離できないという限界を克服すること。
• 潜在空間におけるサイクル整合性制約を導入し、スタイル転送中にコンテンツの保持を強化すること。
• 非並列単語語彙のみで動作するエンドツーエンドで学習可能なフレームワークを構築すること。
• 実世界のデータセットを用いた包括的な自動評価および人的評価を通じて、モデルの有効性を検証すること。

提案手法

• モデルはLSTMベースのオートエンコーダーを用い、入力文を潜在表現に符号化し、元のスタイルを保ったまま再構築することでコンテンツを保持する。
• 対抗的スタイル転送ネットワークは、ジェネレータを用いて1つのスタイル空間の潜在表現を別のスタイル空間にマッピングし、ディスクリミネータによってスタイルの真正性を保証する。
• サイクル整合性制約は、転送された表現が元の表現に再構築可能であることを強制し、再構築誤差を最小化することでコンテンツ保持を向上させる。
• 全フレームワークは、再構築誤差、対抗的誤差、およびサイクル整合性誤差の組み合わせを用いてエンドツーエンドで学習される。
• 並列データに依存せず、並列文ペアが不要なスタイル固有の潜在空間を学習する。
• マルチスタイル問題をペアワイズのスタイル転送に分解することで、複数のスタイル間での転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるサイクル整合性制約は、非教師ありテキストスタイル転送の過程でコンテンツ保持を効果的に改善できるか？
• RQ2 並列学習データが存在しない状況下でも、対抗的スタイル転送ネットワークは、未観測の文構造に一般化できるか？
• RQ3 提案されたCAEフレームワークは、スタイル転送の質とコンテンツ忠実度の両面で、既存の最先端ベースラインをどの程度上回るか？
• RQ4 感情やトピックといった多様なテキストスタイル間で、モデルは文の流れと意味的整合性を維持しながら転送できるか？
• RQ5 近隣検索手法と比較して、転送された文の意味的・構文的新規性はどの程度高いか？

主な発見

• YelpおよびYahooデータセットにおける4つの自動指標において、CAEはARAEベースラインを著しく上回り、スタイル転送とコンテンツ保持の両面で優れた性能を示す。
• 人的評価により、CAEが生成した文はARAEの出力よりもより自然で、元の文に近い意味的特徴を持つことが確認された。
• サイクル整合性制約は再構築誤差を著しく低減し、転送された表現が元の形に正確に再構築可能であることを保証した。
• CAEが生成した文は、訓練データ内の近隣文とは意味的・構文的に明確に異なるため、記憶の再現ではなく一般化が達成されていることが示された。
• 感情転送の文脈では、CAEは「great」→「horrible」のように感情語を正しく特定・反転させつつ、核心的な文構造と意味を保持した。
• Yahooデータセットでは、CAEが「エンタメ＆ミュージック」と「政治＆政府」のトピック間で質問を正しく転送し、質問の意図と構造を維持した。