[論文レビュー] End-to-end Conversation Modeling Track in DSTC6

Chiori Hori, Takaaki Hori|arXiv (Cornell University)|Jun 22, 2017

Topic Modeling参考文献 7被引用数 24

ひとこと要約

本論文は、DSTC6のエンド・ツー・エンド会話モデリングトラックを提示し、参加チームに、会話の文脈と外部知識のみを用いて、カスタマーサービスのツイートに対して人間らしい応答を生成するニューラル会話システムの構築を挑戦課題として提示している。最高のパフォーマンスを示したシステムは、共感的で文脈的に適切な応答を生成することで、人間による評価で最高得点を記録し、一部のケースでは基準となる人間の応答をも上回った。

ABSTRACT

End-to-end training of neural networks is a promising approach to automatic construction of dialog systems using a human-to-human dialog corpus. Recently, Vinyals et al. tested neural conversation models using OpenSubtitles. Lowe et al. released the Ubuntu Dialogue Corpus for researching unstructured multi-turn dialogue systems. Furthermore, the approach has been extended to accomplish task oriented dialogs to provide information properly with natural conversation. For example, Ghazvininejad et al. proposed a knowledge grounded neural conversation model [3], where the research is aiming at combining conversational dialogs with task-oriented knowledge using unstructured data such as Twitter data for conversation and Foursquare data for external knowledge.However, the task is still limited to a restaurant information service, and has not yet been tested with a wide variety of dialog tasks. In addition, it is still unclear how to create intelligent dialog systems that can respond like a human agent. In consideration of these problems, we proposed a challenge track to the 6th dialog system technology challenges (DSTC6) using human-to-human dialog data to mimic human dialog behaviors. The focus of the challenge track is to train end-to-end conversation models from human-to-human conversation and accomplish end-to-end dialog tasks in various situations assuming a customer service, in which a system plays a role of human agent and generates natural and informative sentences in response to user's questions or comments given dialog context.

研究の動機と目的

• カスタマーサービスのシナリオにおいて、自然で情報豊富な応答を生成できる、完全にデータ駆動型のエンド・ツー・エンドニューラル会話システムの開発を目的とする。
• シーケンス・ツー・シーケンスモデルと外部知識の統合の有効性を、現実世界のTwitterカスタマーサービス対話への文脈的に適切な応答生成の観点から評価すること。
• オープンドメインでタスク指向の会話システムにおいて、応答品質を評価するための客観的自動評価指標と人間による評価を比較すること。
• 感情の明示的アノテーションがなくても、共感性や感情理解をニューラル応答生成に組み込む方法をモデル化すること。
• 自動評価指標と人間の判断を比較することで、自動評価指標における欠落を特定すること。

提案手法

• 参加者は、2017年9月7日から18日までの間で収集された大規模なTwitterカスタマーサービス対話データを用いて、エンド・ツー・エンドのシーケンス・ツー・シーケンスモデルをトレーニングした。
• 参加チームは、公式のトレーニング・バリデーション・テストセットと重複しない外部の公開ウェブソースからの知識を利用可能とした。
• 全チームが一貫したデータ取得を実現するためのデータ収集ツールが提供され、公式のトレイン/開発/テスト分割はデータ収集期間終了後にのみ公開された。
• 応答生成は、自動評価指標（例：BLEU、ROUGE）と自然さ・情報量の5段階スケールによる人間によるアノテーションの両方で評価された。
• 人間による評価は文単位の評価に焦点を当て、共感性、関連性、ユーザー入力への正確さを評価した。
• 非タスク指向の会話文脈における自然さを評価するためのパイロットタスクとして、OpenSubtitlesデータが使用された。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのニューラルシーケンス・ツー・シーケンスモデルは、カスタマーサービス対話シナリオにおいて、人間らしい文脈的に適切な応答をどれほど効果的に生成できるか？
• RQ2 外部知識を統合することで、生成された応答の情報量と正確性はどの程度向上するか？
• RQ3 オープンドメインの会話システムにおいて、自動評価指標と人間による応答品質評価の相関関係はどの程度か？
• RQ4 ニューラルモデルは、共感的な応答を生成でき、基準となる人間の応答よりも支持的だと感じさせるような応答を生成できるか？
• RQ5 モデルがネガティブなユーザーの感情をポジティブに誤解した場合の応答生成における主な失敗モードは何か？

主な発見

• 最高のパフォーマンスを示したシステムは、平均人間評価得点（4.5）と「非常に良い」（5段階）と評価された応答の割合が最も高く、基準システムを著しく上回った。
• 人間による評価では、感情的サポートや共感を含む応答が、基準応答からわずかに逸脱しても、常に高い評価を得た。
• 一部のシステムは、フライトキャンセルやサービスの悪さといった感情が強い文脈において、元の人の応答よりも好意的に評価された。
• 最悪のパフォーマンスを示したシステムは、ネガティブなユーザー入力を完全にポジティブに誤解し、平均人間評価得点がたった1.2にとどまった。これは、感情理解における深刻な失敗を示している。
• BLEU や ROUGE といった客観的指標は、人間の判断との相関が限定的であったため、より良い自動評価関数の開発が求められることが示された。
• 基準システムは強力ではあったが、3つの例のうち6つ中3つで、特に共感の表現や実行可能な解決策の提示において、最高のシステムに下回った。