[論文レビュー] Evaluating Open-QA Evaluation

Cunxiang Wang, Sirui Cheng+8 more|arXiv (Cornell University)|May 21, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、オープン・クエスショニング（Open-QA）における自動評価指標の信頼性を評価するためのQA-EvalタスクとEVOUNAデータセットを導入する。人間によるアノテート済みのゴールドスタンダードと比較することで、語彙的マッチング、BERT-Score、BELURT、GPT-3.5といった自動評価者を評価した結果、現在の手法では人間の判断を完全に再現できていないことが判明した。特に、長く情報量の多い回答に対して大規模言語モデル（LLM）ベースの評価者には著しい弱みが見られた。本研究は、LLMの事実性を評価するためのベンチマークを提供する。

ABSTRACT

This study focuses on the evaluation of the Open Question Answering (Open-QA) task, which can directly estimate the factuality of large language models (LLMs). Current automatic evaluation methods have shown limitations, indicating that human evaluation still remains the most reliable approach. We introduce a new task, Evaluating QA Evaluation (QA-Eval) and the corresponding dataset EVOUNA, designed to assess the accuracy of AI-generated answers in relation to standard answers within Open-QA. Our evaluation of these methods utilizes human-annotated results to measure their performance. Specifically, the work investigates methods that show high correlation with human evaluations, deeming them more reliable. We also discuss the pitfalls of current methods and methods to improve LLM-based evaluators. We believe this new QA-Eval task and corresponding dataset EVOUNA will facilitate the development of more effective automatic evaluation tools and prove valuable for future research in this area. All resources are available at \url{https://github.com/wangcunxiang/QA-Eval} and it is under the Apache-2.0 License.

研究の動機と目的

• 正確一致（EM）のOpen-QA評価における限界を是正するため、回答の意味的同等性を考慮しない点を改善すること。
• 自動評価指標と人間の判断との相関度を評価する新しいベンチマークタスク「QA評価の評価（QA-Eval）」を考案すること。
• Open-QA出力の自動評価者性能を評価するための人間アノテート済みリソース「EVOUNAデータセット」を構築すること。
• 語彙的マッチング、ニューラル指標、LLMベースの評価者を含む、既存の自動評価手法の強みと弱みを同定すること。
• 将来の大規模言語モデル（LLM）のOpen-QAにおけるより信頼性が高く、事実性に配慮した評価ツールの開発を支援すること。

提案手法

• 自動評価指標が人間アノテート済みの正答性順位と比較して、モデル出力の順位付けをどの程度正確に評価できるかを評価するQA-Evalタスクを提案する。
• Natural QuestionsとTriviaQAの両データセットで、5つのOpen-QAモデルの出力に対して人間による正答性判断を収集することで、EVOUNAデータセットを構築する。
• EVOUNAデータセットに語彙的マッチング、BERT-Score、BELURT、GPT-3.5といった複数の自動評価指標を適用し、人間の判断との相関度を測定する。
• スピアマン順位相関係数とマクロF1スコアを用いて、各評価者の性能を定量的に人間アノテート順位と比較する。
• 評価者の出力における誤差タイプを手動で分類し、例えば言い換えや拡張された回答を過剰に厳しく拒否するといった体系的バイアスを特定する。
• EVOUNAと評価コードを含むすべてのリソースをApache-2.0ライセンスのもとで公開し、再現性とコミュニティ利用を促進する。

Figure 1: Distribution of outcomes for three evaluators on EVOUNA-NQ. Each pie chart aggregates results across EVOUNA-NQ subsets, showing proportions of TP, TN, FP, and FN for each evaluator.

実験結果

リサーチクエスチョン

• RQ1 既存の自動評価指標は、Open-QAにおいて人間の判断とどの程度相関しているか？
• RQ2 GPT-3.5のようなLLMベースの評価者では、人間と比較してOpen-QA回答の事実的正しさを信頼性を持って評価できるか？
• RQ3 自動評価者の主な誤差パターンは何か？ また、指標や回答タイプごとにどのように異なるか？
• RQ4 自動評価者の性能は、異なるOpen-QAモデルやデータセット（例：Natural Questions対TriviaQA）でどのように変化するか？
• RQ5 現在の指標は、特に言い換えや情報量の多い回答において、意味的同等性をどの程度捉えられていないか？

主な発見

• 正確一致（EM）は、モデルの性能を最大で9.7ポイント低く評価しており、DPR+FiDはNatural QuestionsにおいてEMで59.2を記録したが、人間評価では68.9であった。
• 自動評価者では人間の順位付けを完全に再現できない：GPT-3.5はNQで最大スピアマン相関係数0.82、TQで0.88を記録したが、人間同士の一致度には著しく劣る。
• LLMベースの評価者（例：GPT-3.5）は、長く詳細な回答に対して特に性能が低く、Chat-Llama2出力ではマクロF1が43.0に低下したが、人間アノテートのゴールドスタンダードでは97.4であった。
• 語彙的マッチングは、BERT-Score や BELURT といったニューラル指標よりも、人間の判断との相関度が高く、特に短い回答に対して優れている。
• 誤差分析の結果、評価者たちはしばしば妥当な言い換えや拡張された回答を拒否しており、過剰に厳格であることが判明。語彙的マッチングは誤差率が最も高く（10.3%）も、人間順位と最も一貫性がある。
• EVOUNAデータセットの分析から、最高性能を示す自動評価者（GPT-3.5）でもBingChat出力では30.5%の誤差率を示しており、人間の誤差率の6倍以上にのぼる。信頼性の格差が顕著に浮き彫りになった。

Figure 2: Distribution of error types for the three evaluators on the EVOUNA-NQ dataset, based on manual classification. Each pie chart segment represents the proportion of a specific error type for that evaluator.