[論文レビュー] Improved Neural Text Attribute Transfer with Non-parallel Data

Igor Melnyk, Cícero Nogueira dos Santos+3 more|arXiv (Cornell University)|Nov 26, 2017

Topic Modeling参考文献 7被引用数 10

ひとこと要約

本稿では、非並列データを対象とした新しいニューラルテキスト属性転送フレームワークを提案する。協調分類器と、注目メカニズムを用いた循環損失および独創的な名詞保持損失を含む、専用の損失関数群を用いることで、コンテンツの保持とセンチメント転送の正確性を向上させる。本手法は2つのデータセットにおいて強力なベースラインを上回り、Yelpでは94.4%のセンチメント正確性と77.1%のコンテンツ保持率を達成し、Amazonでは59.5%と77.5%をそれぞれ達成した。

ABSTRACT

Text attribute transfer using non-parallel data requires methods that can perform disentanglement of content and linguistic attributes. In this work, we propose multiple improvements over the existing approaches that enable the encoder-decoder framework to cope with the text attribute transfer from non-parallel data. We perform experiments on the sentiment transfer task using two datasets. For both datasets, our proposed method outperforms a strong baseline in two of the three employed evaluation metrics.

研究の動機と目的

• 並列学習データが利用できない非並列設定において、テキスト属性転送の課題に対処すること。
• スタイル転送中にコンテンツ保持を向上させ、名詞などの重要な意味的要素が一貫して保たれることを確実にすること。
• 複数の識別器を必要としないスケーラブルなマルチ属性転送手法を開発すること。
• 非並列設定における敵対的訓練の限界を克服するために、協調分類器を導入すること。
• 生成テキストにおけるセンチメント転送正確性、コンテンツ保持、およびスムーズさのバランスをとること。

提案手法

• 入力テキストから転送された文を生成するために、アテンション機構を備えた単一のエンコーダデコーダアーキテクチャを用いる。
• 敵対的訓練を必要とせず、属性転送のための学習信号を提供するため、CNNベースの協調分類器を導入する。
• 元の文の自己符号化能力を保証するため、フォワード再構成損失を適用する。
• 前向きと逆向きの転送の一貫性（すなわち、x → y → x が x に近いこと）を強制するために、循環損失を適用する。
• 元の文に含まれる重要な名詞が生成出力に欠落しないようにペナルティを課す、独創的な名詞保持損失を組み込む。
• センチメント分類のための交差エントロピー損失と、パープレキシティに基づく言語モデリングを用いて、スムーズさを評価する。

実験結果

リサーチクエスチョン

• RQ1 協調分類器は、非並列テキスト属性転送において、敵対的識別器の効果的代替手段として機能するか？
• RQ2 注目メカニズムと循環再構成を組み合わせることで、スタイル転送中のコンテンツ保持が向上するか？
• RQ3 専用の名詞保持損失は、転送テキストにおける意味的整合性を顕著に向上させるか？
• RQ4 提案された損失関数は、センチメント転送正確性とスムーズさ（パープレキシティ）のトレードオフにどのように影響するか？
• RQ5 本手法は、異なるデータセットや属性タイプ（たとえば、多様なドメインにおけるセンチメント転送）に一般化可能か？

主な発見

• Yelpデータセットでは、提案手法が94.4%のセンチメント転送正確性を達成し、ベースラインの86.5%を顕著に上回った。
• Yelpでは77.1%のコンテンツ保持正確性を達成したのに対し、ベースラインは38.3%であった。これは、意味的整合性に優れていることを示している。
• Amazonデータセットでは、提案手法が59.5%のセンチメント正確性と77.5%のコンテンツ保持率を達成したのに対し、ベースラインは32.8%と71.6%であった。
• パープレキシティスコアがやや高かった（Yelpで80.1 vs. ベースラインの27.0）ものの、提案手法はより意味的に忠実で正確なスタイルの出力を生成した。
• 定性的な例では、提案手法が元のエンティティや名詞をよりよく保持しているのに対し、ベースラインはしばしば重要なコンテンツを変更または省略していた。
• 単一の分類器アーキテクチャのおかげで、マルチ属性転送への応用が有望である。これは、敵対的アプローチと比較してより効率的にスケーリング可能である。