[論文レビュー] Evaluating Open-Domain Question Answering in the Era of Large Language Models

Ehsan Kamalloo, Nouha Dziri+2 more|arXiv (Cornell University)|May 11, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、大規模言語モデル（LLMs）の時代におけるオープンドメイン質問応答を評価し、従来の語彙的マッチングが、回答の文構造的・意味的ばらつきのため、特にLLMsにおいてモデル性能を著しく低く見積もっていることを明らかにした。人的評価では、InstructGPT（ゼロショット）の正確性がほぼ60%向上し、NQ-openで最先端の性能を達成した一方、自動評価手法は長文出力における幻覚を検出できないことが判明し、正確な評価には人的判断の不可欠性が浮き彫りになった。

ABSTRACT

Lexical matching remains the de facto evaluation method for open-domain question answering (QA). Unfortunately, lexical matching fails completely when a plausible candidate answer does not appear in the list of gold answers, which is increasingly the case as we shift from extractive to generative models. The recent success of large language models (LLMs) for QA aggravates lexical matching failures since candidate answers become longer, thereby making matching with the gold answers even more challenging. Without accurate evaluation, the true progress in open-domain QA remains unknown. In this paper, we conduct a thorough analysis of various open-domain QA models, including LLMs, by manually evaluating their answers on a subset of NQ-open, a popular benchmark. Our assessments reveal that while the true performance of all models is significantly underestimated, the performance of the InstructGPT (zero-shot) LLM increases by nearly +60%, making it on par with existing top models, and the InstructGPT (few-shot) model actually achieves a new state-of-the-art on NQ-open. We also find that more than 50% of lexical matching failures are attributed to semantically equivalent answers. We further demonstrate that regex matching ranks QA models consistent with human judgments, although still suffering from unnecessary strictness. Finally, we demonstrate that automated evaluation models are a reasonable surrogate for lexical matching in some circumstances, but not for long-form answers generated by LLMs. The automated models struggle in detecting hallucinations in LLM answers and are thus unable to evaluate LLMs. At this time, there appears to be no substitute for human evaluation.

研究の動機と目的

• 生成的LLMの台頭に伴い、語彙的マッチングのオープンドメイン質問応答評価における限界を調査すること。
• NQ-openのサブセットに対して人的アノテーションによる判断を用いて、最先端のQAモデル（LLMを含む）の真の性能を評価すること。
• 自動評価手法（BEMやLLMベースの評価者など）の信頼性を人的判断と比較して評価すること。
• 古くさい非LLMモデルが、人的評価では現代のLLMを上回る可能性があるかどうかを検討すること。
• 回答の意味的同等性と文構造的ばらつきによって引き起こされる語彙的マッチングの失敗モードを分析すること。

提案手法

• NQ-openおよびCuratedTREC 2002からランダムに抽出した1872件の質問-回答ペairに対して人的評価を実施し、3名のアノテーターがFleiss’ Kappaを用いてアノテータ間整合性を確保した。
• 人的判断と標準的な語彙的マッチング（正確一致）、正規表現マッチング、自動評価モデル（BEMおよびInstructGPT-eval）を比較し、一貫性と正確性を評価した。
• 語彙的マッチングの失敗事例を分析し、文構造的ばらつきと意味的同等性のパターンを同定し、より頑健な代替手段として正規表現を提案した。
• InstructGPT（ゼロショットおよびフェイシング）、ANCE+、Contriever、TREC 2002ベースラインを含む12種類のオープンドメインQAモデルを、NQ-openおよびCuratedTREC 2002の両方で再評価した。
• 20年前の統計的モデルと現代のLLMを比較する長期的ベンチマークとして、CuratedTREC 2002データセットを用い、一般化性能と知識源の使用状況をテストした。
• 評価手法間の性能差を測定し、LLM出力における幻覚が自動化された指標に与える影響と、なぜ人的評価が依然として不可欠であるかに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 回答の文構造的・意味的ばらつきによって、語彙的マッチングがどれほど正解を捉え損なうのか。
• RQ2 自動評価手法（例：BEM、InstructGPT-eval）と比較して、人的評価はオープンドメインQAモデルの性能順位をどの程度正確に反映しているか。
• RQ3 正規表現マッチングは、語彙的マッチングの代替として信頼性があり、より柔軟な選択肢となるか。
• RQ4 自動評価モデルがなぜ長文出力におけるLLMの幻覚を検出できないのか。その結果、性能推定にどのような影響を与えるか。
• RQ5 人的評価では、現代のLLMベースのQAモデルが、古くさい手作業による統計的モデルを実際に上回っているのか。

主な発見

• NQ-openサブセットにおいて、InstructGPT（ゼロショット）は人的評価で71.4%の正確性を達成し、語彙的マッチングによる推定（12.6%）と比べてほぼ60%の向上を示した。
• 語彙的マッチングの失敗の50%以上が、意味的に同等だが文構造が異なる回答に起因しており、意味的認識を備えた評価の必要性が浮き彫りになった。
• 正規表現マッチングは人的判断と一貫した順位付けを生み出したが、依然として厳しすぎる傾向にあり、平均して性能を6.6%低く見積もった。
• BEMやInstructGPT-evalなどの自動評価モデルは、LLMが生成する長文出力における幻覚を検出できず、モデル性能の過剰評価を引き起こした。
• 人的評価により、InstructGPT（フェイシング）がCuratedTREC 2002で92%の正確性を達成したことが判明したが、これは自動化された指標では反映されていない。
• 人的評価がなければ、LLMが20年前の統計的モデル（LCCmain2002）を上回ることを示せなかった。これは、複雑なQA設定において自動評価では真のモデル性能を信頼できる形で捉えられないことを示している。