[論文レビュー] Zero-Shot Fine-Grained Style Transfer: Leveraging Distributed Continuous Style Representations to Transfer To Unseen Styles

Eric M. Smith, Diana Gonzalez-Rico+2 more|arXiv (Cornell University)|Nov 10, 2019

Topic Modeling参考文献 20被引用数 11

ひとこと要約

本稿では、再訓練を必要とせず、未学習の感情スタイルにテキストを転送できるゼロショットの細分化されたスタイル転送手法を提案する。スタイル分類器と生成モデルを分離し、共有の低次元埋め込み空間を用いることで、事前学習済みの埋め込みプロジェクションのみを用いて、未知の感情ラベルへ高忠実度の転送を実現する。

ABSTRACT

Text style transfer is usually performed using attributes that can take a handful of discrete values (e.g., positive to negative reviews). In this work, we introduce an architecture that can leverage pre-trained consistent continuous distributed style representations and use them to transfer to an attribute unseen during training, without requiring any re-tuning of the style transfer model. We demonstrate the method by training an architecture to transfer text conveying one sentiment to another sentiment, using a fine-grained set of over 20 sentiment labels rather than the binary positive/negative often used in style transfer. Our experiments show that this model can then rewrite text to match a target sentiment that was unseen during training.

研究の動機と目的

• 推論時に再訓練や微調整を必要とせず、未学習の細分化された感情スタイルへテキストスタイル転送を可能にすること。
• 陽性／陰性などの離散的・粗いスタイル属性の制限を克服し、より豊かで繊細なスタイル制御が可能な連続的分布表現を用いること。
• 学習データに存在しない感情スタイルへゼロショット転送を実証すること。異なる属性空間間で共有される埋め込み空間を用いる。
• ソース空間からターゲット空間への埋め込みプロジェクションにより、異なる属性空間（例：EmpatheticDialogues）への転送の可能性を検討すること。
• 明示的なラベルではなく、例示テキストによる暗黙のスタイル指定を可能とすることで、量子化ノイズを低減し、スタイル制御の柔軟性を向上させること。

提案手法

• 事前学習済みの教師あり分類器を用いて、感情などのスタイル属性を共有の低次元埋め込み空間に一貫性のある連続的分布表現として生成する。
• スタイル転送生成モデルと分類器を分離し、分類器の出力埋め込みのみを条件信号として使用することで、エンドツーエンドの微調整を回避する。
• Lample et al. (2019) に類似した修正されたオートエンコーダアーキテクチャを用い、ターゲットスタイルを離散ラベルではなく、事前に計算された連続的埋め込みベクトルで条件づける。
• ソース属性空間（例：Redditの感情）からターゲット属性空間（例：EmpathicDialogues）への埋め込みを線形プロジェクション層でマッピングし、ゼロショット転送を実現する。
• ターゲットドメインのデータを微調整することで、新しい言語的スタイルやフレーミングにモデルを適応させ、未学習の属性空間への性能を向上させる。
• 推論では、ソーステキストとターゲットスタイル埋め込みをエンコードし、両者に条件づけたシーケンスを生成する。スタイル埋め込みは事前学習済み分類器から得られる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの連続的スタイル埋め込みのみを用いて、再訓練や微調整なしに未学習の感情スタイルへ一般化可能なテキストスタイル転送モデルは実現可能か？
• RQ2 Redditの感情埋め込みから、関連のない異なる属性空間（例：EmpatheticDialogues）へのスタイル埋め込みをプロジェクションする場合、ゼロショット転送はどの程度効果的か？
• RQ3 事前学習済みスタイル転送モデルを、新しいドメインに微調整することでどの程度適応可能となり、ゼロショット一般化能力を維持できるか？
• RQ4 明示的なラベルではなく、例示テキストによる暗黙のスタイル指定は、スタイル転送性能を向上させ、量子化誤差を低減できるか？
• RQ5 ソース埋め込み空間からターゲット空間への線形プロジェクションの性能と、ターゲットデータ上でエンドツーエンドトレーニングを行う場合とを比較するとどうなるか？

主な発見

• モデルは、学習中に存在しなかった感情ラベルへも、ゼロショットでスタイル転送を成功させ、同じ属性空間内での新しい細分化されたスタイルターゲットへの一般化を示した。
• Redditの感情埋め込みから線形プロジェクションによりEmpatheticDialoguesデータセットへのゼロショット転送を試みたが、性能は低かった（分類器の正確性が18％未満）。これは、ソース埋め込み空間とターゲットドメインとの間で十分な整合性がとれていないことを示している。
• EmpatheticDialoguesデータセット上で事前学習済みスタイル転送モデルを微調整することで、転送性能が顕著に向上した。これは、モデルがターゲットドメインの言語にさらされると、ドメイン適応が有効であることを示している。
• 微調整済みモデルの例示生成結果は、さまざまな感情ラベル（例：「不安」を「希望的」や「喜び」に変換）に対して、一貫性があり文脈的に適切なスタイル転送を示している。
• 例示テキストを用いてターゲットスタイル埋め込みを推定することで、暗黙のスタイル制御が可能となり、明示的なラベルを必要とせず、スタイルの模倣や対比が可能になった。
• 一貫した埋め込み空間が利用可能な場合、本手法は異なる属性空間へ一般化可能であり、多様なスタイル転送タスクへの広範な適用可能性を示唆している。