[論文レビュー] Structuring Latent Spaces for Stylized Response Generation

Xiang Gao, Yizhe Zhang+5 more|arXiv (Cornell University)|Sep 3, 2019

Topic Modeling参考文献 29被引用数 7

ひとこと要約

本稿では、非対応の会話的テキストとスタイル固有のテキストデータを用いて、文脈に適したスタイリッシュな応答を生成するための共有潜在空間を構造化するマルチタスク学習フレームワーク、StyleFusionを提案する。潜在空間を会話モデルの予測に近接するスタイル埋め込みに正則化することで、応答の関連性を保ちつつスタイル強度を連続的に制御可能となる。自動評価および人的評価の両面で、ベースラインを上回る性能を発揮する。

ABSTRACT

Generating responses in a targeted style is a useful yet challenging task, especially in the absence of parallel data. With limited data, existing methods tend to generate responses that are either less stylized or less context-relevant. We propose StyleFusion, which bridges conversation modeling and non-parallel style transfer by sharing a structured latent space. This structure allows the system to generate stylized relevant responses by sampling in the neighborhood of the conversation model prediction, and continuously control the style level. We demonstrate this method using dialogues from Reddit data and two sets of sentences with distinct styles (arXiv and Sherlock Holmes novels). Automatic and human evaluation show that, without sacrificing appropriateness, the system generates responses of the targeted style and outperforms competitive baselines.

研究の動機と目的

• 会話的テキストとスタイル固有のテキストの間で対応データが入手できない状況において、文脈的に適切でスタイリッシュな応答を生成する課題に対処すること。
• 異なる種類のデータ（会話的データとスタイル固有データ）を、共有され、構造化された潜在空間に統合することで、会話モデリングと非対応スタイル変換を橋渡しすること。
• 会話モデルの予測周辺の近傍サンプリングを通じて、潜在空間内でスタイル強度を連続的に制御できることを実現すること。
• 潜在空間の不整合により、スタイル転送が不十分であるか、関連性を犠牲にしてスタイルを強調する既存手法の改善を図ること。
• Redditの会話データと、arXivおよびシャーロック・ホームズ風のテキストを組み合わせたデータセットを用いて、本手法の有効性を実証すること。

提案手法

• 本手法は、会話生成のためのシーケンス・ツー・シーケンス（S2S）モデルと、スタイルデータのためのオートエンコーダー（AE）を統合したマルチタスク学習フレームワークを採用する。
• 新たな正則化項 $\mathcal{L}_{\text{style}}$ が導入され、スタイル符号化ベクトルを意味的に関連する会話表現に近づけることで、共有潜在空間を構造化する。
• 潜在空間は、さらに $\mathcal{L}_{\text{conv}}$ を用いて正則化され、これは SpaceFusion から抽出されたものであり、コンテンツの保持を向上させ、多様性を改善する。
• スタイリッシュな応答は、S2Sモデルの潜在予測の周囲の近傍からサンプリングすることで生成され、サンプリング半径がスタイル強度を制御する。
• 再構成損失、コンテンツ保持損失、スタイル整合性損失の組み合わせを用いて、エンド・ツー・エンドでモデルを訓練する。
• 本手法により、連続的なスタイル制御が可能となり、対応データや別々のモデルの強制的融合に依存しなくなる。

実験結果

リサーチクエスチョン

• RQ1 非対応の会話的テキストとスタイル固有テキストを、共有され、構造化された潜在空間に効果的に統合することで、スタイリッシュな応答生成が可能か？
• RQ2 提案された正則化手法 $\mathcal{L}_{\text{style}}$ は、応答の関連性と多様性を維持したまま、スタイル転送を向上させるか？
• RQ3 潜在空間における近傍サンプリングにより、スタイル強度の連続的制御が可能か？
• RQ4 S2S+LM、リtrieval、MTaskなどのベースラインと比較して、StyleFusionの性能（スタイル、関連性、多様性）はどのように異なるか？
• RQ5 潜在空間の可視化は、MTask や S2S+LM といった先行手法の限界をどのように明らかにするか？

主な発見

• 人的評価において、StyleFusionは人間の基準を除き、すべてのベースラインと比較して、的確さとスタイル強度の調和平均が最高を記録した。
• 自動評価では、StyleFusionはarXiv風応答に対して0.40のスタイル強度を達成し、Holmes風応答に対しては0.55を記録した。これは、MTask（0.13および0.17）を著しく上回った。
• スタイル強度が高く、関連性も高い（arXivとHolmesのターゲットでそれぞれBLEU-4スコアが7.9および7.8）一方で、RandやRetrievalベースラインは非常にスタイリッシュではあるが、関連性に欠ける。
• $\mathcal{L}_{\text{style}}$ を追加することで、$\mathcal{L}_{\text{conv}}$ のみを用いたベースラインと比較して、スタイル強度が50％向上したが、多様性や関連性は劣化しなかった。
• 人的評価では、StyleFusionの出力はS2S+LM や MTask よりも顕著にスタイリッシュであり、同時に高い的確さ（Holmes風で0.46、arXiv風で0.48）を維持していた。
• 可視化により、StyleFusionがスタイル埋め込みを関連する会話表現の近くに正しく配置しているのに対し、MTaskは不適切に配置され、凝集した潜在表現を生成していることが確認された。