[论文解读] Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering

Vaibhav Adlakha, Parishad BehnamGhader+3 more|arXiv (Cornell University)|Jul 31, 2023

Topic Modeling被引用 5

一句话总结

本文通过提出新指标——正确性评估的召回率（Recall）与忠实性评估的K-Precision，评估指令遵循型模型在问答任务中的表现，表明这些指标相较于传统的F1或EM指标更能与人类判断保持一致。GPT-3.5在正确性方面表现最佳，而Flan-T5在忠实性方面表现最优，但所有模型在面对无关知识时均难以拒绝回答。

ABSTRACT

Retriever-augmented instruction-following models are attractive alternatives to fine-tuned approaches for information-seeking tasks such as question answering (QA). By simply prepending retrieved documents in its input along with an instruction, these models can be adapted to various information domains and tasks without additional fine-tuning. While the model responses tend to be natural and fluent, the additional verbosity makes traditional QA evaluation metrics such as exact match (EM) and F1 unreliable for accurately quantifying model performance. In this work, we investigate the performance of instruction-following models across three information-seeking QA tasks. We use both automatic and human evaluation to evaluate these models along two dimensions: 1) how well they satisfy the user's information need (correctness), and 2) whether they produce a response based on the provided knowledge (faithfulness). Guided by human evaluation and analysis, we highlight the shortcomings of traditional metrics for both correctness and faithfulness. We then propose simple token-overlap based and model-based metrics that reflect the true performance of these models. Our analysis reveals that instruction-following models are competitive, and sometimes even outperform fine-tuned models for correctness. However, these models struggle to stick to the provided knowledge and often hallucinate in their responses. We hope our work encourages a more holistic evaluation of instruction-following models for QA. Our code and data is available at https://github.com/McGill-NLP/instruct-qa

研究动机与目标

• 解决传统评估指标（如F1和精确匹配EM）在评估指令遵循型问答模型时的局限性。
• 探究指令遵循型模型在两个维度上的表现：正确性（满足用户的信息需求）与忠实性（基于所提供知识进行回应）。
• 识别能够更好地与人类判断相关联的自动指标，用于检索增强型问答中的正确性与忠实性评估。
• 评估模型在面对无关知识时的行为，特别是其幻觉生成或不适当回答的倾向。
• 倡导建立一种更全面的评估框架，以同时考虑指令微调模型的正确性与忠实性。

提出的方法

• 提出召回率（Recall）作为正确性的词符重叠指标，衡量参考答案中出现的词符在模型输出中所占比例。
• 引入K-Precision作为忠实性的指标，计算模型输出中出现在所提供知识片段中的词符比例。
• 通过900个模型输出的人工评估建立正确性与忠实性的基准，以支持与自动指标的相关性分析。
• 将词符级指标（召回率、F1、EM、K-Precision）与基于模型的指标（GPT-4评估、LLMCritic）与人类判断进行对比。
• 在三个问答数据集（自然问题（开放域）、HotpotQA（多跳）、TopiOCQA（对话式））上评估多个指令遵循型模型（GPT-3.5、Llama-2、Flan-T5、Alpaca）。
• 通过注入无关段落测试模型在对抗性条件下的行为，以评估其拒绝回答的能力与知识锚定的可靠性。

Figure 1: Sample response generated by GPT-3.5. The model response is correct w.r.t information need but only partially faithful w.r.t knowledge as only one of the two locations mentioned in the response can be found in the knowledge (truncated for readability). Recall (§ 4.2 ) and K-Precision (§ 5.

实验结果

研究问题

• RQ1 传统指标（如F1和EM）在评估冗长、指令遵循型模型输出的正确性时，与人类判断的相关性如何？
• RQ2 现有指标在多大程度上能够捕捉忠实性——即模型输出是否基于所提供的知识？
• RQ3 哪些自动指标（词符级或基于模型）与人类标注的正确性与忠实性判断最相符？
• RQ4 当指令遵循型模型被提供无关或无信息量的知识时，其行为如何，特别是其拒绝回答的倾向如何？
• RQ5 像召回率与K-Precision这样简单且易访问的指标，能否作为昂贵的基于大语言模型评估的可靠替代方案？

主要发现

• 召回率在正确性方面与人类判断的相关性最高，尤其在涉及重述或扩展回答的情况下，优于F1与EM。
• K-Precision在忠实性方面与人类判断的相关性最强，相较于其他词符重叠指标，更能有效检测出幻觉或无依据的陈述。
• GPT-3.5在所有三个数据集上均以召回率和人工评估结果衡量，表现出最高的正确性性能。
• Flan-T5在忠实性方面表现最佳，其在所有数据集上均保持较高的K-Precision得分，表明其对所提供知识的更强锚定能力。
• 所有模型（包括GPT-3.5与Flan-T5）在面对无关知识时均无法可靠拒绝回答，其中Llama-2的拒绝率最高（在NQ与HotpotQA上达99%）。
• 基于模型的指标（如GPT-4评估与LLMCritic）与人类判断高度一致，但成本高昂且易受偏见影响，凸显了像召回率与K-Precision这类可访问替代方案的必要性。

Figure 4: Failure cases of F1 metric. More Elaborate Answers is the most common failure sub-category, followed by Open-ended Questions .