[論文レビュー] Evaluating Attribution in Dialogue Systems: The BEGIN Benchmark

Nouha Dziri, Hannah Rashkin+2 more|arXiv (Cornell University)|Apr 30, 2021

Topic Modeling被引用数 5

ひとこと要約

本稿では、知識に基づくモデルの会話から得た12,000件の会話ターンを用いた大規模ベンチマーク、BEGINを紹介する。このベンチマークは、生成応答における帰属の評価を目的としている。3つのカテゴリ—完全に帰属可能、完全に帰属可能でない、および一般化された—に分類された人間によるラベルを用いることで、既存の自動評価指標が誤った相関関係に依存しており、抽象的だが忠実な応答を区別できないこと、また、知識ソースが長い場合に著しく性能が低下することを明らかにした。これは、より頑健な評価指標の開発が急務であることを示している。

ABSTRACT

Knowledge-grounded dialogue systems powered by large language models often generate responses that, while fluent, are not attributable to a relevant source of information. Progress towards models that do not exhibit this issue requires evaluation metrics that can quantify its prevalence. To this end, we introduce the Benchmark for Evaluation of Grounded INteraction (BEGIN), comprised of 12k dialogue turns generated by neural dialogue systems trained on three knowledge-grounded dialogue corpora. We collect human annotations assessing the extent to which the models' responses can be attributed to the given background information. We then use BEGIN to analyze eight evaluation metrics. We find that these metrics rely on spurious correlations, do not reliably distinguish attributable abstractive responses from unattributable ones, and perform substantially worse when the knowledge source is longer. Our findings underscore the need for more sophisticated and robust evaluation metrics for knowledge-grounded dialogue. We make BEGIN publicly available at https://github.com/google/BEGIN-dataset.

研究の動機と目的

• 知識に基づく会話システムにおける帰属の評価に関して、大規模かつ信頼性のある評価が不足しているという問題に対処すること。
• 生成応答の忠実性や帰属を測ると主張する既存の自動指標に見られる欠陥を特定すること。
• 分布シフトや多様な応答タイプの下で指標のメタ評価が可能なベンチマークの開発。
• 人間によるラベルを用いて、真正に帰属可能な応答、帰属不可能な応答、および一般化された応答を区別すること。
• 頑健で一般化可能な評価指標の研究を促進するための公開リソースを提供すること。

提案手法

• 著者らは、3つの知識に基づくコーパス（Wizard of Wikipedia、CMU Open-Domain Dialogue、TopicalChat）を用いてトレーニングされた4つのニューラル会話システムから、12,000件の会話ターンを収集した。
• 人間によるラベル付けに基づく分類体系を構築し、応答を3つのカテゴリに分類：完全に帰属可能、完全に帰属可能でない、および一般化された（例：'I’m not sure'）。
• 人間のラベラーは、各応答が背景文書に裏付けられているかどうか、または裏付けのない主張や情報が欠落しているかどうかに基づいてラベルを付与した。
• ベンチマークは、8種類の自動指標の評価に使用された：語彙一致ベース（BLEU、ROUGE）、埋め込みベース（BERTScore、BARTScore、BLEURT）、QAベース、NLIベースの指標。
• また、敵対的生成データを用いて分類器を訓練し、ソース文書との整合性を評価した。
• 指標の評価は、人間の判断との相関と、知識ソースが長い場合の分布シフトに対する頑健性を基準とした。

実験結果

リサーチクエスチョン

• RQ1 既存の自動指標は、知識に基づく会話応答における帰属の判断に関して、人間の判断とどの程度相関しているか？
• RQ2 評価指標は、語彙的一致のような誤った相関関係（例：語の重複）にどれほど依存しているのか？
• RQ3 抽象的だが完全に帰属可能な応答と、抽出的だが帰属不可能な応答の両方に対して、指標はどの程度の性能を示すか？
• RQ4 知識ソースが長い場合、指標の性能はどの程度低下するか？これは分布シフトを示している。
• RQ5 敵対的生成データを用いることで、帰属エラーを検出する指標分類器の頑健性は向上するか？

主な発見

• 評価されたすべての自動指標が、意味的忠実性よりも誤った相関関係、特に語彙的一致に強く依存していることが判明した。
• 指標は、抽象的だが完全に帰属可能な応答と帰属不可能な応答を区別できず、しばしば前者を不忠実と誤分類している。
• 知識ソースが長い応答に対して、指標の性能が著しく低下しており、分布シフトに対する頑健性が低いことが示された。
• 最も性能の良かった指標（BERTScore）ですら、人間の判断との相関が低く、とくに複雑または抽象的な応答では顕著だった。
• 敵対的学習による分類器は性能が向上したが、一般化能力に限界があり、より良い訓練データと評価フレームワークの開発が不可欠であることが示された。
• ベンチマークは、'I’m not sure' のような一般化された応答が、しばしば帰属不可能と誤分類されることが判明した。これは、自然な会話行動を保つために、指標設計の見直しが必要であることを示唆している。