[論文レビュー] Plug and Play Autoencoders for Conditional Text Generation

Florian Mai, Nikolaos Pappas+3 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 51被引用数 4

ひとこと要約

本稿では、敵対的損失とオフセットベースのニューラルマッピングを用いて、任意の事前学習済みテキストオートエンコーダーの潜在空間におけるマッピングを学習することで、条件付きテキスト生成を可能にするプラグアンドプレイフレームワークであるEmb2Embを紹介する。エンドツーエンドモデルと比較して最大4倍速く、最小限のラベル付きデータで、教師あり設定でも非教師あり設定でもコンテンツの保持を良好に維持する。スタイル変換タスクにおいて、最先端または競争力のある性能を達成する。

ABSTRACT

Text autoencoders are commonly used for conditional generation tasks such as style transfer. We propose methods which are plug and play, where any pretrained autoencoder can be used, and only require learning a mapping within the autoencoder's embedding space, training embedding-to-embedding (Emb2Emb). This reduces the need for labeled training data for the task and makes the training procedure more efficient. Crucial to the success of this method is a loss term for keeping the mapped embedding on the manifold of the autoencoder and a mapping which is trained to navigate the manifold by learning offset vectors. Evaluations on style transfer tasks both with and without sequence-to-sequence supervision show that our method performs better than or comparable to strong baselines while being up to four times faster.

研究の動機と目的

• 事前学習済みオートエンコーダーを活用することで、最小限のラベル付きデータで条件付きテキスト生成を可能にすること。
• 再訓練なしに、既存の任意のオートエンコーダーと互換性を持つ、プラグアンドプレイな手法を開発すること。
• 非教師ありスタイル変換タスクにおける効率性とコンテンツ保持の向上を図ること。
• マッピングされた埋め込み表現がオートエンコーダーの潜在多様体上に留まるようにすることで、生成品質を維持すること。
• 系列対系列生成におけるトレーニングコストと並列データへの依存度を低減すること。

提案手法

• 本手法は、オートエンコーダーの潜在空間内において、入力文の埋め込みから出力文の埋め込みへのマッピングΦを学習する。
• 出力埋め込みがオートエンコーダーの多様体上に位置することを保証するため、敵対的損失項ℒ_advを用いる。
• マッピングネットワークは、入力埋め込みにオフセットベクトルを学習・適用することで、微細な調整を可能にする。
• 教師あり学習では、予測された埋め込みと真の埋め込みの間のタスク損失ℒ_taskを最小化する。
• 本フレームワークは、スタイル属性を意識して訓練されたかどうかに関わらず、任意の事前学習済みオートエンコーダーと互換性を持つ。
• 推論時、学習済みマッピングをオートエンコーダーのエンコーダーとデコーダーの間に組み合わせることで、出力テキストを生成する。

実験結果

リサーチクエスチョン

• RQ1 再訓練や微調整なしに、事前学習済みオートエンコーダーを条件付きテキスト生成に利用できるか？
• RQ2 潜在空間におけるマッピングは、スタイル変換タスクにおけるコンテンツ保持と生成品質をどのように向上させるか？
• RQ3 埋め込み空間における敵対的正則化は、有効性を維持し、性能を向上させるか？
• RQ4 オフセットベースのマッピングアーキテクチャは、エンドツーエンド学習と比較して、速度と精度の面でどのように異なるか？
• RQ5 ラベルなしデータに対する事前学習は、リソースが限られた条件付き生成設定において、どの程度性能向上に寄与するか？

主な発見

• Emb2Embは、教師ありスタイル変換タスクであるテキスト簡略化において、強力なベースラインを上回り、エンドツーエンドモデルと比較して最大4倍速い。
• 非教師ありセンチメント変換において、Emb2Embは最先端の手法と同等の変換精度を達成しながら、入力のコンテンツをよりよく保持している。
• ラベル付きデータが10倍多い上限モデルに近い性能を達成しており、リソースが限られた状況下での一般化性能が優れていることが示された。
• 敵対的損失項ℒ_advは、埋め込みがオートエンコーダーの多様体上に留まるように保つために不可欠であり、直接的に生成品質の向上に寄与している。
• オフセットベースのマッピングアーキテクチャは、入力埋め込みに対する効果的で安定した調整を可能にし、タスク固有の適応を向上させた。
• Emb2Embのプラグアンドプレイ性により、任意の事前学習済みオートエンコーダーとシームレスに統合可能であり、大規模な事前学習の再利用が可能になった。