[論文レビュー] Jointly Optimizing Diversity and Relevance in Neural Response Generation

Xiang Gao, Sung‐Jin Lee+5 more|arXiv (Cornell University)|Feb 28, 2019

Topic Modeling参考文献 19被引用数 7

ひとこと要約

本稿では、seq2seq（S2S）モデルと自己符号化器（AE）の潜在空間を、新たな正則化項を通じて統合することで、応答の多様性と関連性を同時に最適化する神経応答生成モデルであるSpaceFusionを提案する。この手法により、予測応答からの距離で関連性を、方向で多様性を幾何学的に制御でき、2つのベンチマークデータセットにおいて両指標で最先端の性能を達成した。

ABSTRACT

Although recent neural conversation models have shown great potential, they often generate bland and generic responses. While various approaches have been explored to diversify the output of the conversation model, the improvement often comes at the cost of decreased relevance. In this paper, we propose a SpaceFusion model to jointly optimize diversity and relevance that essentially fuses the latent space of a sequence-to-sequence model and that of an autoencoder model by leveraging novel regularization terms. As a result, our approach induces a latent space in which the distance and direction from the predicted response vector roughly match the relevance and diversity, respectively. This property also lends itself well to an intuitive visualization of the latent space. Both automatic and human evaluation results demonstrate that the proposed approach brings significant improvement compared to strong baselines in both diversity and relevance.

研究の動機と目的

• 神経対話モデルにおける応答の多様性と関連性のトレードオフを解消すること。
• 推論時ではなく、学習段階で多様性と関連性を同時に最適化できること。
• 予測応答ベクトルからの距離が関連性を、方向が多様性を表すように、分離可能で構造的な潜在空間を構築すること。
• 応答生成の幾何的可視化により、解釈可能な潜在空間を提供すること。
• 自動評価および人的評価の両方で、多様性と関連性において強力なベースラインを上回ること。

提案手法

• SpaceFusionは、seq2seq（S2S）モデルと自己符号化器（AE）モデルの潜在空間を、同じデコーダー・ネットワークを共有することで統合する。
• 本モデルは、予測応答とターゲット応答の間で滑らかな意味的遷移を保証するための内挿項という、2つの新しい正則化項を導入する。
• 統合項を用いて、両モデルからのベクトルの分布を均一化し、クラスタ形成を防ぎ、均一なサンプリングを可能にする。
• 統合された潜在空間により、予測応答ベクトルからの距離で応答の関連性を制御でき、方向で多様性を制御できる。
• 共有デコーダーと正則化を用いて、S2SおよびAEの両目的をエンドツーエンドで学習し、潜在空間を整列・構造化する。
• このアプローチにより、応答ベクトルが関連性と多様性に応じて空間的に配置された直感的な潜在空間の可視化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 応答の多様性と関連性を、一方を犠牲にすることなく同時に最適化することは可能か？
• RQ2 距離が関連性、方向が多様性を表すように、幾何的性質を持つ分離可能で構造的な潜在空間を構築できるか？
• RQ3 構造的な潜在空間正則化を用いたエンドツーエンド学習により、応答品質を向上させられるか？
• RQ4 統合された潜在空間は、応答生成ダイナミクスの直感的な可視化と分析を可能にするか？
• RQ5 提案手法は、自動評価および人的評価の両方で強力なベースラインを上回るか？

主な発見

• SpaceFusionは、関連性（2.72）と興味（2.53）の両面で人的評価で最高スコアを記録し、人間の基準を除くすべてのベースラインを上回った。
• Redditデータセットでは、多様性と関連性の両面で顕著な向上を示し、人的評価で平均2.63のスコア（CVAE+BOWの2.44と比較）を達成した。
• vanilla S2SおよびS2S+Samplingベースラインと比較して、一般的で退屈な応答の頻度を顕著に低減した。
• S2SとAEの潜在空間の統合により、均一でクラスタのない分布が得られ、効果的かつ安定したサンプリングが可能になった。
• 潜在空間は直感的な可視化を可能にし、応答ベクトルが関連性と多様性に応じて空間的に配置されることで、モデル挙動の診断的分析が可能になった。
• モデルはRedditおよびSwitchboardの2つのデータセットで安定した性能を示し、一般化能と有効性が確認された。