[論文レビュー] A Dataset for Document Grounded Conversations

Kangyan Zhou, Shrimai Prabhumoye+1 more|arXiv (Cornell University)|Sep 19, 2018

Topic Modeling参考文献 10被引用数 11

ひとこと要約

本論文では、映画に関するウィキペディア記事を議論する文書に基づいた会話の新しいデータセットを紹介している。参加者は1人または両方が記事にアクセスしており、文書情報を利用したモデルは、応答の楽しさ（+7.5%の好み）と流暢さ（+0.96 MOS）が著しく向上し、Perplexityが11.69ポイント改善される。これは、会話システムにおける外部文書への根拠づけの価値を示している。

ABSTRACT

This paper introduces a document grounded dataset for text conversations. We define "Document Grounded Conversations" as conversations that are about the contents of a specified document. In this dataset the specified documents were Wikipedia articles about popular movies. The dataset contains 4112 conversations with an average of 21.43 turns per conversation. This positions this dataset to not only provide a relevant chat history while generating responses but also provide a source of information that the models could use. We describe two neural architectures that provide benchmark performance on the task of generating the next response. We also evaluate our models for engagement and fluency, and find that the information from the document helps in generating more engaging and fluent responses.

研究の動機と目的

• 会話の応答を外部文書に根拠づけるが、一貫性と関与度を維持する会話データセットの不足に対処すること。
• 具体的な情報文書（例：ウィキペディア記事など）に基づいた、現実的で人間がアノテートしたデータセットを構築すること。
• 神経的会話モデルにおける文書根拠づけの応答品質への影響を評価すること。
• より情報豊かで、流暢で、関与度の高い応答を生成する文書コンテキストを統合した神経アーキテクチャのベンチマークを設定すること。

提案手法

• データセットはアマゾンのMechanical Turkを介して収集され、2名の参加者が少なくとも12ターン以上、映画に関するウィキペディア記事について議論した。
• 参加者には、文書にアクセスできる条件とアクセスできない条件の2つのシナリオが割り当てられ、異なる根拠づけの状況を模擬した。
• データセットには、多様な映画ジャンルの30件のウィキペディア記事が含まれており、それぞれ基本情報と3つの主要な登場シーンに分割されている。
• 応答生成における文書コンテキストの有無を比較するために、神経的シーケンス・ツー・シーケンスモデルを訓練した。
• モデルの評価には自動指標（Perplexity）と人間評価（流暢さと関与度のためのMOS）を用い、応答品質を評価した。
• 応答生成中に、文書に特化したアテンションを用いたエンコーダ・デコーダフレームワークで文書コンテキストをエンコードし、注目した。

実験結果

リサーチクエスチョン

• RQ1 特定の文書に根拠づけて会話の応答を行うと、生成された応答の流暢さと関与度にどのような影響を与えるか？
• RQ2 共有文書へのアクセスが、複数ターンの会話における一貫性と情報の正確性をどの程度向上させるか？
• RQ3 神経モデルは、文書コンテンツを効果的に活用して、より文脈的に適切で自然な応答を生成できるか？
• RQ4 文書根拠づけが、自動指標と人間評価指標の両方において、会話システムにどのような定量的影響を与えるか？

主な発見

• 文書情報の統合により、人間評価で7.5%高い好みスコアが得られ、より関与度の高い応答であることが示された。
• 文書根拠づけの有無にかかわらず、モデルの応答は流暢さのMOSが0.96ポイント向上し、自然さが向上した。
• 文書根拠づけのモデルは、Perplexityが11.69ポイント低下し、言語モデルの性能が向上した。
• データセットには4,112件の会話が含まれており、1件あたりの平均ターン数は21.43である。これにより、十分な訓練および評価データが得られた。
• 文書にアクセスした参加者は、登場人物の動機や登場シーンの詳細について議論する際、より一貫性があり情報量の多い会話を生成した。
• 結果から、文書根拠づけが生成された会話応答の品質と関連性を著しく向上させることを示している。