[論文レビュー] Learning Conversational Systems that Interleave Task and Non-Task Content

Yu Zhou, Alan W. Black+1 more|arXiv (Cornell University)|Mar 1, 2017

Topic Modeling参考文献 20被引用数 15

ひとこと要約

本論文では、会話システムにおけるタスク指向的コンテンツと非タスク（ソーシャル）コンテンツを強化学習に基づいて入れ替えながら処理するフレームワークを提案する。このフレームワークにより、タスク成功確率とユーザーの関与度が向上し、人間ユーザーを対象とした映画プロモーション対話システムの実験で、純粋なタスク指向システムと比較して高いタスク成功率とより良いユーザー評価が得られた。

ABSTRACT

Task-oriented dialog systems have been applied in various tasks, such as automated personal assistants, customer service providers and tutors. These systems work well when users have clear and explicit intentions that are well-aligned to the systems' capabilities. However, they fail if users intentions are not explicit. To address this shortcoming, we propose a framework to interleave non-task content (i.e. everyday social conversation) into task conversations. When the task content fails, the system can still keep the user engaged with the non-task content. We trained a policy using reinforcement learning algorithms to promote long-turn conversation coherence and consistency, so that the system can have smooth transitions between task and non-task content. To test the effectiveness of the proposed framework, we developed a movie promotion dialog system. Experiments with human users indicate that a system that interleaves social and task content achieves a better task success rate and is also rated as more engaging compared to a pure task-oriented system.

研究の動機と目的

• ユーザーの意図が不明瞭または暗黙的である場合に、タスク指向対話システムが抱える制限に対処すること。
• タスクコンテンツとソーシャル会話の自然な入れ替えによって、ユーザーの関与度とタスク成功確率を向上させること。
• カスタマーサービス、公衆衛生、政治的アンケートなど、さまざまな分野に適用可能な汎用的なフレームワークを開発すること。
• 長期間にわたる会話の整合性と一貫性を最適化するように、強化学習を用いて対話ポリシーを訓練すること。
• 実世界の映画プロモーション対話システムを用いてフレームワークを検証し、人間による評価を実施すること。

提案手法

• 会話の文脈に基づいて、タスク指向の応答と非タスク（ソーシャル）の応答の選択を、強化学習によって訓練されたポリシーが行う。
• ポリシーは、会話の整合性、深さ、情報量の増加といった長期的な会話効果性を最適化する。
• テストベッドとして、ユーザーの好みを収集し、映画を推薦する映画プロモーションシステムを実装した。
• システムは、タスク固有の応答と、社会的関与を促すコンテンツを組み合わせたハイブリッド応答生成アプローチを採用している。
• シミュレートされた人間の相互作用と実際の人間との相互作用を用いて強化学習エージェントを訓練し、応答の整合性やタスク成功といった主要指標に合わせた報酬設計を実施している。
• このフレームワークは汎用的かつ拡張可能であり、他の分野でも再利用可能なオープンソースのコードとデータが提供されている。

実験結果

リサーチクエスチョン

• RQ1 タスク指向対話システムに非タスク（ソーシャル）コンテンツを組み込むことで、ユーザーの関与度とタスク成功確率が向上するか？
• RQ2 タスクコンテンツと非タスクコンテンツの間で、滑らかで整合性のある遷移を実現するための対話ポリシーは、どのように訓練できるか？
• RQ3 実世界の人間との相互作用において、タスクとソーシャル会話を組み合わせたシステムは、純粋なタスク指向システムを上回るか？
• RQ4 ソーシャルコンテンツの統合が、長期間にわたる会話の質と情報収集能力にどの程度寄与するか？
• RQ5 このフレームワークは、公衆衛生、教育、政治的アンケートといった異なる分野へ一般化可能か？

主な発見

• タスクと非タスクコンテンツを混在させるMix-Globalシステムは、人間ユーザーに対して76.7％のタスク成功率を達成し、純粋なタスク指向システム（Task-Global）の31.3％を著しく上回った。
• 人間ユーザーを対象とした実験で、Mix-Globalシステムは79％の会話の深さと67.2％の情報獲得率を達成し、シミュレーションおよびベースラインシステムを上回った。
• 応答の整合性（App）は、ソーシャルコンテンツ統合によって最も向上し、滑らかな遷移が全体のシステムパフォーマンス向上に寄与したことが示された。
• 同じタスクを基盤としていても、ユーザーは純粋なタスク指向システムよりもMix-Globalシステムをより関与的だと評価した。
• 収集されたデータから、男性および20歳のユーザーがスーパーヒーロー映画に対して関与しやすく、関心を示す傾向があることが判明し、業界のトレンドと一致した。
• このフレームワークは映画プロモーションをはるかに超えて汎用的であり、政治的アンケート、公衆衛生教育、カスタマーサービスなどの分野への応用が期待できる。