[論文レビュー] Chat More If You Like: Dynamic Cue Words Planning to Flow Longer Conversations

Lili Yao, Ruijian Xu+3 more|arXiv (Cornell University)|Nov 19, 2018

Speech and dialogue systems参考文献 28被引用数 9

ひとこと要約

本稿では、一連の会話の流れを効果的に導く高インパクトなキーワードを動的に選択することで、一貫性があり長時間にわたる会話が可能になる強化学習ベースのマルチターン対話システム、RLCwを提案する。新たな報酬関数を用いてキーワード選択と応答生成を同時に最適化することで、強力なベースラインと比較して、はるかに長いシミュレートされた会話、より高い多様性、優れた人間評価スコアを達成している。

ABSTRACT

To build an open-domain multi-turn conversation system is one of the most interesting and challenging tasks in Artificial Intelligence. Many research efforts have been dedicated to building such dialogue systems, yet few shed light on modeling the conversation flow in an ongoing dialogue. Besides, it is common for people to talk about highly relevant aspects during a conversation. And the topics are coherent and drift naturally, which demonstrates the necessity of dialogue flow modeling. To this end, we present the multi-turn cue-words driven conversation system with reinforcement learning method (RLCw), which strives to select an adaptive cue word with the greatest future credit, and therefore improve the quality of generated responses. We introduce a new reward to measure the quality of cue words in terms of effectiveness and relevance. To further optimize the model for long-term conversations, a reinforcement approach is adopted in this paper. Experiments on real-life dataset demonstrate that our model consistently outperforms a set of competitive baselines in terms of simulated turns, diversity and human evaluation.

研究の動機と目的

• オープンドメインのマルチターン会話システムにおける会話の流れモデリングの欠如に対処すること。
• 会話の方向性を導く適応的で動的なキーワードを選び、長期的な一貫性と関与度を向上させること。
• キーワード予測と応答生成を統合するトレーニング可能でエンドツーエンドのフレームワークを構築すること。
• 会話の流れを改善するためのキーワードの質を、効果性と関連性に基づいて測定する新しい報酬関数を設計すること。
• 強化学習を用いて、長期的な会話品質を最適化すること。

提案手法

• RLCwモデルは、会話履歴と現在の文脈に基づき、各ターンでキーワード選択を行う強化学習フレームワークを用いる。
• 二重報酬メカニズムにより、キーワードの効果性（将来の会話長）と関連性（文脈との意味的整合性）の両面で評価がなされる。
• キーワードは応答生成を条件づける潜在的なガイドとして用いられ、トピックの継続性と一貫性を保証する。
• 累積的な将来報酬を最大化するために、方策勾配法を用いてエンドツーエンドでモデルを訓練する。
• キーワードの埋め込みを組み込んだシーケンス・ツー・シーケンスアーキテクチャを採用し、文脈に根ざした応答を生成する。
• アブレーションスタディにより、各報酬成分および全体のフレームワークの寄与度が検証されている。

実験結果

リサーチクエスチョン

• RQ1 動的なキーワード選択は、マルチターンオープンドメイン会話の長さと一貫性を向上させることができるか？
• RQ2 強化学習の報酬に効果性と関連性を組み合わせることで、会話品質はどのように向上するか？
• RQ3 キーワード誘導型応答生成は、ベースライン手法と比較して、多様性および人間の好みの面でどれほど優れているか？
• RQ4 キーワードは進行中の会話におけるトピックのずれと意味的連続性にどのように影響を与えるか？
• RQ5 静的または事前に定義されたキーワードに依存せずに、モデルは高品質な会話の流れを維持できるか？

主な発見

• RLCwは、すべてのベースラインと比較して最も長いシミュレートされた会話長を達成しており、優れた関与度と会話の流れを示している。
• モデルは、会話内および会話間の両方で、最も高い一意のトライグラム比を生成しており、応答の多様性が顕著に高いことを示している。
• 人間評価では、RLCwは、文の自然さ、一貫性、関連性、情報量、および全体的な好みの点で、ベースラインを顕著に上回っている。
• アブレーションスタディにより、効果性と関連性の両方の報酬が不可欠であることが確認され、特に関連性が会話長の延長において重要な役割を果たしている。
• キーワードと生成された応答との相関は0.81と高く、強い意味的整合性と応答内容への影響が裏付けられている。
• 41%のキーワードが最終的な応答に含まれており、会話の方向性と応答生成への顕著な影響があることが示されている。