[論文レビュー] Evaluating Groundedness in Dialogue Systems: The BEGIN Benchmark

Nouha Dziri, Hannah Rashkin+2 more|arXiv (Cornell University)|Apr 30, 2021

Topic Modeling参考文献 27被引用数 15

ひとこと要約

本論文では、知識に基づく対話システムにおける応答の根拠付けの質を評価するための8,113件の人的アノテーション付き対話ターンから構成されるBEGINベンチマークを紹介する。対話的生成データを用いた自動評価指標の評価を通じて、拡張された自然言語推論フレームワークを用いて、モデル出力と背景情報との整合性が向上することを示している。

ABSTRACT

Knowledge-grounded dialogue agents are systems designed to conduct a conversation based on externally provided background information, such as a Wikipedia page. Such dialogue agents, especially those based on neural network language models, often produce responses that sound fluent but are not justified by the background information. Progress towards addressing this problem requires developing automatic evaluation metrics that can quantify the extent to which responses are grounded in background information. To facilitate evaluation of such metrics, we introduce the Benchmark for Evaluation of Grounded INteraction (BEGIN). BEGIN consists of 8113 dialogue turns generated by language-model-based dialogue systems, accompanied by humans annotations specifying the relationship between the system's response and the background information. These annotations are based on an extension of the natural language inference paradigm. We use the benchmark to demonstrate the effectiveness of adversarially generated data for improving an evaluation metric based on existing natural language inference datasets.

研究の動機と目的

• 外部知識に依存するニューラル対話システムにおける幻覚的または根拠のない応答の問題に取り組むこと。
• 応答生成における根拠付けの質を測る自動評価指標を評価するための標準化されたベンチマークを開発すること。
• 自然言語推論データセットから導出された敵対的生成データを統合することで、既存の評価指標を改善すること。
• システムの応答と支援となる背景情報との関係を捉えた人的アノテーション付きデータセットを提供すること。

提案手法

• BEGINベンチマークは、Wikipediaの抜粋などの背景情報とペアになった、言語モデルに基づく対話システムからの8,113件の対話ターンを用いて構築されている。
• 人的アノテーターが、応答と背景との関係を拡張された自然言語推論フレームワーク（含意、矛盾、中立の関係を含む）を用いてラベル付けしている。
• ベンチマークは、根拠付け評価指標のロバストネスをテストおよび向上させるために、敵対的生成データを活用している。
• アノテーションデータを用いて評価指標を精錬し、根拠ありと根拠なしの応答を区別する重点を置いている。
• 標準的な自然言語推論を拡張し、知識に基づく対話文脈における微細な関係を捉えるフレームワークを構築している。
• 多様な対話シナリオにおける自動評価指標の体系的評価を支援するようにデータセットが設計されている。

実験結果

リサーチクエスチョン

• RQ1 自動評価指標は、知識に基づく対話システムにおける根拠のない応答をどの程度正しく検出できるか？
• RQ2 敵対的データ生成は、根拠付け評価指標の性能をどの程度向上させるか？
• RQ3 人的アノテーションは、対話応答の根拠付けをどの程度信頼性高く一貫して捉えられるか？
• RQ4 BEGINベンチマークは、対話システムにおける根拠付けの評価のための信頼できる基準として機能できるか？
• RQ5 既存の自然言語推論データセットは、根拠に基づく対話評価に適用する際にどのような制限を有するか？

主な発見

• BEGINベンチマークは、拡張された自然言語推論方式に基づく人的アノテーションにより、多様な応答-根拠関係を的確に捉えている。
• 敵対的生成データの導入により、評価指標の根拠のない応答の検出能力が顕著に向上した。
• 標準的なNLIデータセットで訓練された既存の指標は、根拠に基づく対話では限界を示しており、専用のベンチマークの必要性が浮き彫りになった。
• 人的アノテーションデータは、モデル生成応答における体系的な失敗（特に矛盾するか無関係な内容を生成する）を明らかにした。
• 従来のアプローチに比べ、BEGINベンチマークはより信頼性が高く、細分化された根拠付けの評価を可能にしている。
• 敵対的例を指標の学習に組み込むことで、根拠のない応答の違反に対する感度が向上することが結果として示された。