[論文レビュー] Better Conversations by Modeling,Filtering,and Optimizing for Coherence and Diversity

Xinnuo Xu, Ondřej Dušek+2 more|arXiv (Cornell University)|Sep 18, 2018

Topic Modeling参考文献 35被引用数 5

ひとこと要約

本稿では、GloVeに基づく一貫性測定、一貫性と語彙的多様性を考慮した訓練データのフィルタリング、および一貫性を明示的に条件付けするコンテキストゲートを備えた条件付き変分オートエンコーダ（cVAE）を用いて、オープンドメイン対話システムにおける応答の一貫性と多様性を向上させる統合フレームワークを提案する。OpenSubtitles上で実験した結果、競合するベースラインと比較してBLEU、一貫性、多様性の指標で顕著な向上が得られた。

ABSTRACT

We present three enhancements to existing encoder-decoder models for open-domain conversational agents, aimed at effectively modeling coherence and promoting output diversity: (1) We introduce a measure of coherence as the GloVe embedding similarity between the dialogue context and the generated response, (2) we filter our training corpora based on the measure of coherence to obtain topically coherent and lexically diverse context-response pairs, (3) we then train a response generator using a conditional variational autoencoder model that incorporates the measure of coherence as a latent variable and uses a context gate to guarantee topical consistency with the context and promote lexical diversity. Experiments on the OpenSubtitles corpus show a substantial improvement over competitive neural models in terms of BLEU score as well as metrics of coherence and diversity.

研究の動機と目的

• ニューラル応答生成における明示的な一貫性モデリングの欠如が、一般化され不自然な出力を引き起こすという問題に対処すること。
• トピックの一貫性と語彙的豊かさを考慮して訓練データをフィルタリングすることで、応答の多様性を向上させること。
• 応答品質のより良い制御を可能にするために、一貫性を潜在変数として条件付き変分オートエンコーダ（cVAE）に統合すること。
• コンテキストゲートと一貫性認識型訓練を統合することで、トピックの一貫性を保ち、繰り返しを減らすこと。
• 外部のアノテーションや言語ルールに依存せず、完全に自己教師ありでデータ駆動型の一貫性モデリングを提供すること。

提案手法

• 文脈と応答のトークンのGloVe単語埋め込み間のコサイン類似度の平均値として一貫性を定義する。
• 一貫性スコアが高い文脈-応答ペアを選択することで、OpenSubtitlesコーパスをフィルタリングし、洗練された訓練データセットを構築する。
• 一つの潜在変数が会話文脈を、もう一つの潜在変数が一貫性測定をエンコードする条件付き変分オートエンコーダ（cVAE）を訓練する。
• 文脈語と以前に生成された応答トークンの間の注目を動的にバランスさせるコンテキストゲート機構を組み込むことで、トピック関連性を促進する。
• 再構築損失と一貫性に基づく正則化を同時に最適化することで、一貫性があり多様な出力を導くようにcVAEモデルを共同で訓練する。
• コンテキストゲートを用いたビームサーチデコードにより、文脈に根ざしており語彙的に多様な応答を生成する。

実験結果

リサーチクエスチョン

• RQ1 純粋に自己教師ありで埋め込みに基づく一貫性測定は、高品質で一貫性のある対話応答を効果的に特定できるか？
• RQ2 一貫性に基づいて訓練データをフィルタリングすることで、生成された応答の品質はどの程度向上するか？
• RQ3 cVAEアーキテクチャにおいて一貫性を潜在変数として明示的にモデリングすることは、より一貫性があり多様な応答を生成するのに有効か？
• RQ4 一貫性認識型訓練とコンテキストゲートを統合することで、応答のトピック的関連性と語彙的多様性はどのように変化するか？
• RQ5 提案されたフレームワークは、BLEU、一貫性、多様性の指標において、既存のニューラル応答生成モデルを上回るか？

主な発見

• 提案モデルは、競合するベースラインと比較してBLEUスコアで顕著な向上を示し、全体的な応答品質の向上を示した。
• 自動的一貫性および多様性指標においても顕著な向上が確認され、一貫性認識型訓練アプローチの有効性が裏付けられた。
• アブレーションスタディにより、各構成要素（一貫性フィルタリング、一貫性潜在変数を備えたcVAE、コンテキストゲート）が性能向上に寄与していることが確認された。
• 人的評価（今後の研究で想定）により、モデルがより一貫性があり魅力的な応答を生成できる能力が検証されると予想される。
• cVAE-XGate (1.0)モデルは、fOSTテストセットの定性的な例から、MMIベースラインと比較してより具体的で文脈に適した応答を生成していることが示された。
• 特にトピック的に一貫性があり語彙的に多様な応答を生成する点で、MMI やヴァナイルcVAEといった強力なベースラインを上回った。