[論文レビュー] Adding Chit-Chats to Enhance Task-Oriented Dialogues

Kai Sun, Seungwhan Moon+8 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 42被引用数 4

ひとこと要約

本論文では、人間が参加するデータ収集により得られた雑談応答を統合することで、タスク指向対話の質を向上させるACCENTORというフレームワークを提案する。これにより、バーチャルアシスタントはタスク実行と社会的会話の間を自然に切り替えられるようになる。Schema-Guided DialogueおよびMultiWOZ 2.1で評価された結果、タスクパフォーマンスを損なわずに会話の没入感と人間らしさが向上した。

ABSTRACT

Existing dialogue corpora and models are typically designed under two disjoint motives: while task-oriented systems focus on achieving functional goals (e.g., booking hotels), open-domain chatbots aim at making socially engaging conversations. In this work, we propose to integrate both types of systems by Adding Chit-Chat to ENhance Task-ORiented dialogues (ACCENTOR), with the goal of making virtual assistant conversations more engaging and interactive. Specifically, we propose a Human AI collaborative data collection approach for generating diverse chit-chat responses to augment task-oriented dialogues with minimal annotation effort. We then present our new chit-chat-based annotations to 23.8K dialogues from two popular task-oriented datasets (Schema-Guided Dialogue and MultiWOZ 2.1) and demonstrate their advantage over the originals via human evaluation. Lastly, we propose three new models for adding chit-chat to task-oriented dialogues, explicitly trained to predict user goals and to generate contextually relevant chit-chat responses. Automatic and human evaluations show that, compared with the state-of-the-art task-oriented baseline, our models can code-switch between task and chit-chat to be more engaging, interesting, knowledgeable, and humanlike, while maintaining competitive task performance.

研究の動機と目的

• タスク指向対話システムとオープンドメインチャットボットの間のギャップを埋めるために、機能的な対話に雑談を統合すること。
• 人間とAIの協働によるデータ収集手法を用いることで、多様な雑談応答を収集する際のアノテーション作業を削減すること。
• バーチャルアシスタントの会話における自然さ、没入感、人間らしさを向上させつつ、タスク成功確率を維持すること。
• ユーザーの目的と文脈に基づいて、タスク指向応答と雑談応答の間を動的に切り替えられるモデルを開発すること。

提案手法

• タスク指向対話の発話に対して、最小限の人的アノテーションで多様な雑談応答を生成するための、人間とAIの協働によるデータ収集パイプラインを採用した。
• 収集された雑談応答は、Schema-Guided DialogueおよびMultiWOZ 2.1の23.8K件の対話でアノテートされ、元のデータセットが豊かに拡張された。
• ユーザーの目的を共同で予測し、文脈的に適切な雑談応答を生成するための3つの新しいニューラルモデルを訓練した。
• モデルは、対話の文脈に基づいてタスク指向モードと雑談モードの間を動的に切り替えられるように、エンドツーエンドで訓練された。
• 生成された雑談応答の品質と関連性を検証するために、人的評価を実施した。
• 自動評価と人的評価を実施し、提案されたモデルと最先端のタスク指向ベースラインを比較した。

実験結果

リサーチクエスチョン

• RQ1 雑談応答は、タスクパフォーマンスを低下させることなく、タスク指向対話の没入感と人間らしさを向上させることができるか？
• RQ2 スケールにのっとって雑談を効率的に収集する方法は何か？ その際、多様性と関連性を維持できるか？
• RQ3 モデルは、文脈とユーザーの目的に基づいて、タスクモードと雑談モードの間をどれだけうまくコードスイッチングできるか？
• RQ4 人的アノテーションによる雑談応答は、ベースラインモデルに比べて、品質と自然さにおいて優れているか？
• RQ5 共同で目的予測と雑談生成を学習するエンドツーエンドモデルは、分離されたタスクと応答生成システムを上回る性能を示せるか？

主な発見

• 人的評価の結果、雑談を統合した会話は、元のタスク指向対話に比べて、著しく没入感があり、興味深く、人間らしいと評価された。
• 提案されたモデルは、雑談コンponentsを追加しても、Schema-Guided DialogueおよびMultiWOZ 2.1の両方で高いタスク成功率を維持し、競争力のあるタスクパフォーマンスを達成した。
• 人間とAIの協働によるデータ収集手法により、アノテーション作業を削減しながら、多様で文脈的に適切な雑談応答を生成できた。
• 共同で目的予測と雑談生成を学習したモデルは、タスクモードと社会的会話モードの間でのコードスイッチング行動が向上した。
• 自動評価の結果、ベースラインシステムに比べて、モデルはより文脈的に適切で多様な雑談応答を生成できた。