[論文レビュー] Improving Disentangled Text Representation Learning with Information-Theoretic Guidance

Pengyu Cheng, Martin Renqiang Min+5 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling参考文献 38被引用数 4

ひとこと要約

本稿では、入力文との相互情報量を最大化して意味的コンテンツを保存しつつ、スタイルとコンテンツ埋め込みの依存性を低減するための、サンプルベースの相互情報量上界を最小化することで、離散的で複雑な自然言語における分離表現の学習を目的とした情報理論的フレームワークであるIDELを提案する。この手法は、スタイル転送および条件付き生成のタスクで最先端の性能を達成し、優れた分離性とコンテンツ保存性を実現する。

ABSTRACT

Learning disentangled representations of natural language is essential for many NLP tasks, e.g., conditional text generation, style transfer, personalized dialogue systems, etc. Similar problems have been studied extensively for other forms of data, such as images and videos. However, the discrete nature of natural language makes the disentangling of textual representations more challenging (e.g., the manipulation over the data space cannot be easily achieved). Inspired by information theory, we propose a novel method that effectively manifests disentangled representations of text, without any supervision on semantics. A new mutual information upper bound is derived and leveraged to measure dependence between style and content. By minimizing this upper bound, the proposed method induces style and content embeddings into two independent low-dimensional spaces. Experiments on both conditional text generation and text-style transfer demonstrate the high quality of our disentangled representation in terms of content and style preservation.

研究の動機と目的

• 自然言語における分離表現の学習という課題に取り組むこと。特に、テキストの離散的性質が操作や分離を困難にしている点に注目する。
• 手動でのアノテーションや事前に定義されたスタイルカテゴリを必要としない自己教師付き手法を開発すること。
• 情報理論に基づいた理論的裏付けのある目的関数を提供し、スタイルとコンテンツ埋め込みの間の低依存性を保証すること。
• 入力文と潜在コードとの間の相互情報量を最大化することで、潜在表現における意味的コンテンツの保存を確保すること。
• 下流タスクにおけるスタイル転送の正確性とコンテンツ保存性の間でバランスの取れたトレードオフを達成すること。

提案手法

• スタイルとコンテンツ埋め込みの依存性を測定・最小化するために、情報量の変動（VI）に基づく新しい情報理論的目的関数を提案する。
• 訓練中に埋め込み相関を安定的かつ効果的に最小化できるように、サンプルベースの相互情報量上界を導出する。
• 潜在表現が入力文に関する十分な情報を保持していることを保証するため、上界の最小化を再構成目的と統合する。
• 入力テキストと潜在表現との間の相互情報量を最大化することで、コンテンツの忠実性を向上させる。
• スタイルとコンテンツのための別個のエンコーダを備えた変分オートエンコーダー型アーキテクチャを採用し、提案された目的関数に基づいてエンドツーエンドで訓練する。
• 訓練効率と性能を向上させるために、相互情報量上界の確率的近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 教師なし条件下でも、情報理論的目的関数が自然言語におけるスタイルとコンテンツ表現の分離に効果的に機能するか？
• RQ2 離散的テキストデータに対して、スタイルとコンテンツ埋め込みの間の相互情報量を微分可能かつ安定的に最小化する方法は何か？
• RQ3 入力情報の保存を維持しつつ埋め込みの依存性を最小化することで、スタイル転送および条件付き生成の性能が向上するか？
• RQ4 スタイル転送の正確性とコンテンツ保存性の間にはどのようなトレードオフがあり、提案手法はより良いバランスを達成できるか？
• RQ5 自己教師付き性を有するモデルが、ファインチューニングなしに未観測のスタイルカテゴリに一般化できるか？

主な発見

• Yelpデータセットにおいて、IDELはスタイル転送の幾何平均（GM）スコア41.9を達成し、BT や ARAE といった強力なベースラインを上回った。
• 人的評価では、IDELはスタイルの正確性73.7%、コンテンツ保存性3.69/5を達成し、CtrlGen、CAAE、ARAE を上回った。
• アブレーションスタディの結果、相互情報量上界を除去した場合（IDEL -）は、スタイル転送の正確性が著しく低下し、その重要性が確認された。
• I(s;y)の相互情報量項を追加するとスタイル転送の正確性が向上するが、コンテンツ保存性が損なわれる。一方、I(c;x)を追加するとコンテンツ忠実度が向上するが、スタイルの正確性が低下する。これはトレードオフを示している。
• 確率的バージョン（IDEL*）は閉形式バージョン（IDEL∗）を上回る性能を示し、確率的推定が訓練速度とモデル性能の両方を向上させることを示している。
• IDELは高いBLEUおよびS-BLEUスコアを達成しながらも、強力なスタイル転送性能を維持しており、バランスの取れた高品質な分離表現を実現している。