[論文レビュー] Sentiment Transfer using Seq2Seq Adversarial Autoencoders

Ayush Singh, Ritu Palod|arXiv (Cornell University)|Apr 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 10

ひとこと要約

本論文は、非並列テキストを用いて教師なし感情転送を実現するためのseq2seq adversarial autoencoderモデルを提案する。敵対的訓練によりコンテンツとスタイルの表現を分離し、意味的コンテンツを保持したまま67%の感情転送精度を達成した。これは並列コーパスが不要な有効なスタイル転送を示している。

ABSTRACT

Expressing in language is subjective. Everyone has a different style of reading and writing, apparently it all boil downs to the way their mind understands things (in a specific format). Language style transfer is a way to preserve the meaning of a text and change the way it is expressed. Progress in language style transfer is lagged behind other domains, such as computer vision, mainly because of the lack of parallel data, use cases, and reliable evaluation metrics. In response to the challenge of lacking parallel data, we explore learning style transfer from non-parallel data. We propose a model combining seq2seq, autoencoders, and adversarial loss to achieve this goal. The key idea behind the proposed models is to learn separate content representations and style representations using adversarial networks. Considering the problem of evaluating style transfer tasks, we frame the problem as sentiment transfer and evaluation using a sentiment classifier to calculate how many sentiments was the model able to transfer. We report our results on several kinds of models.

研究の動機と目的

• 並列データの欠如に起因するテキストスタイル転送の課題を、非並列コーパスからの教師なし学習によって解決すること。
• 敵対的オートエナボーダーを用いて、感情転送のためのコンテンツとスタイルの表現を分離すること。
• 感情分類器を用いた評価手法を確立し、感情転送の信頼性を高めること。
• スタイル転送の際の一般化性能とコンテンツ保持性を向上させること。
• 敵対的訓練とオートエナボーダー構造が、seq2seq生成における感情転送に与える有効性を調査すること。

提案手法

• コンテンツエンコーダーを共有し、複数のスタイル固有のデコーダーを有するseq2seqオートエナボーダーを用い、コンテンツとスタイルの表現を分離する。
• 生成器が現実的で内容を保持したスタイル転送を生成するように、敵対的損失を用いて訓練する。
• スタイル転送を強制するために、感情分類器をディスクラミネーターとして適用し、感情のシフトを最適化する。
• 再構成損失と敵対的損失を最小化するバックプロパゲーションと勾配降下法を用いて、モデルをエンドツーエンドで訓練する。
• 類似した長さの文を含む動的バッチ処理を実装し、訓練効率を向上させる。
• Yelpレビューデータを前処理し、中立を除くポジティブ／ネガティブの感情に絞り込み、小文字化、数字の置換、標点記号の除去、上位10,000語に語彙制限を適用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的オートエナボーダーを用いて、並列学習データがなくても感情転送が効果的に行えるか？
• RQ2 分離されたコンテンツ・スタイル表現は、感情転送の過程で意味的意味をどれほど保持できるか？
• RQ3 敵対的訓練が、転送テキストの品質と一貫性に与える影響は何か？
• RQ4 感情転送の正確性と人間による自然さの評価において、モデルの性能はいかがなったか？
• RQ5 異なる感情極性に一般化しつつ、コンテンツの忠実性を維持できるか？

主な発見

• 提案モデルは67%の感情転送精度を達成し、並列データが不要な有効なスタイル転送を示した。
• 定性的分析により、オートエナボーダーは感情転送の過程で一貫性があり、自然で意味的に保持された出力を生成した。
• ヴァニラseq2seqおよび簡略化モデルでは、しばしばキーワードの一部置換にとどまり、一貫性のないスタイル転送が生じた。
• 双方向および簡略化された双方向モデルは、単純なベースラインと比較して、より自然でコンテンツ保持性に優れた出力を示した。
• 入力と出力の間で一貫した意味的構造が維持されたことから、コアなコンテンツが効果的に保持されたことが裏付けられた。
• 類似長さのシーケンスを用いた動的バッチ処理により、訓練効率が2倍向上した。