[论文解读] Evaluating Open-Domain Question Answering in the Era of Large Language Models

Ehsan Kamalloo, Nouha Dziri+2 more|arXiv (Cornell University)|May 11, 2023

Topic Modeling被引用 5

一句话总结

本文评估了大语言模型（LLMs）时代下的开放域问答任务，揭示了传统词汇匹配方法因答案在句法和语义上的差异，严重低估了模型性能，尤其是对 LLMs 的性能。人工评估显示，InstructGPT（零样本）在准确率上提升了近 60%，在 NQ-open 上达到最先进水平，而自动化评估方法却无法检测 LLM 长文本输出中的幻觉现象，凸显了人工判断在准确评估中的不可替代性。

ABSTRACT

Lexical matching remains the de facto evaluation method for open-domain question answering (QA). Unfortunately, lexical matching fails completely when a plausible candidate answer does not appear in the list of gold answers, which is increasingly the case as we shift from extractive to generative models. The recent success of large language models (LLMs) for QA aggravates lexical matching failures since candidate answers become longer, thereby making matching with the gold answers even more challenging. Without accurate evaluation, the true progress in open-domain QA remains unknown. In this paper, we conduct a thorough analysis of various open-domain QA models, including LLMs, by manually evaluating their answers on a subset of NQ-open, a popular benchmark. Our assessments reveal that while the true performance of all models is significantly underestimated, the performance of the InstructGPT (zero-shot) LLM increases by nearly +60%, making it on par with existing top models, and the InstructGPT (few-shot) model actually achieves a new state-of-the-art on NQ-open. We also find that more than 50% of lexical matching failures are attributed to semantically equivalent answers. We further demonstrate that regex matching ranks QA models consistent with human judgments, although still suffering from unnecessary strictness. Finally, we demonstrate that automated evaluation models are a reasonable surrogate for lexical matching in some circumstances, but not for long-form answers generated by LLMs. The automated models struggle in detecting hallucinations in LLM answers and are thus unable to evaluate LLMs. At this time, there appears to be no substitute for human evaluation.

研究动机与目标

• 探究词汇匹配在评估开放域问答任务中的局限性，尤其是在生成式 LLMs 迅速发展的背景下。
• 通过在 NQ-open 的子集上进行人工标注判断，评估最先进 QA 模型（包括 LLMs）的真实性能。
• 将自动化评估方法（如 BEM 和基于 LLM 的评估器）与人工判断进行对比，评估其可靠性。
• 检验较老的非 LLM 模型是否在人工评估下仍能超越现代 LLMs，尽管其技术已过时。
• 分析词汇匹配的失败模式，特别是由于答案的语义等价性和句法差异所致。

提出的方法

• 在 NQ-open 和 CuratedTREC 2002 的随机子集共 1872 个问答对上开展人工评估，由三位标注员完成，并使用 Fleiss’ Kappa 系数确保标注者间的一致性。
• 将人工判断结果与标准的词汇匹配（完全匹配）、正则表达式匹配以及自动化评估模型（BEM 和 InstructGPT-eval）进行对比，以评估其一致性与准确性。
• 分析词汇匹配的失败案例，识别句法差异与语义等价性的模式，并提出正则表达式作为更具鲁棒性的替代方案。
• 在 NQ-open 和 CuratedTREC 2002 上重新评估了 12 种开放域 QA 模型，包括 InstructGPT（零样本和 few-shot）、ANCE+、Contriever 以及 TREC 2002 基线模型。
• 将 CuratedTREC 2002 数据集用作长期基准，比较现代 LLMs 与 20 年前的统计模型，以测试泛化能力与知识来源的使用情况。
• 测量不同评估方法之间的性能差异，重点关注 LLM 输出中的幻觉如何影响自动化指标，以及为何人工评估依然不可或缺。

实验结果

研究问题

• RQ1 由于模型生成答案在句法和语义上的差异，词汇匹配在多大程度上无法捕捉正确答案？
• RQ2 人工评估与自动化评估方法（如 BEM、InstructGPT-eval）在排序开放域 QA 模型性能方面有何差异？
• RQ3 正则表达式匹配能否作为开放域问答评估中更可靠、更灵活的替代方案，以取代精确词汇匹配？
• RQ4 为何自动化评估模型无法检测 LLM 生成的长文本答案中的幻觉？这对性能估计有何影响？
• RQ5 当通过人工判断评估时，现代基于 LLM 的 QA 模型是否真正优于较老的手工设计的统计模型？

主要发现

• 在 NQ-open 子集上，InstructGPT（零样本）在人工评估下的准确率达到 71.4%，相比词汇匹配估算的 12.6% 提升了近 60%。
• 超过 50% 的词汇匹配失败是由于语义等价但句法不同的答案所致，凸显了语义感知评估的必要性。
• 正则表达式匹配的排名与人工判断一致，但其仍过于严格，平均低估性能 6.6%。
• BEM 和 InstructGPT-eval 等自动化评估模型无法检测 LLM 长文本输出中的幻觉，导致对模型性能的高估。
• 人工评估显示，InstructGPT（few-shot）在 CuratedTREC 2002 上的准确率达到 92%，甚至超过 2002 年 TREC 冠军模型 LCCmain2002，而这一结果在自动化指标中并未体现。
• 唯有在人工评估下，LLMs 才真正超越了 20 年前的统计模型（如 LCCmain2002），表明自动化评估在复杂问答场景中无法可靠捕捉真实模型性能。