[논문 리뷰] Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering

Vaibhav Adlakha, Parishad BehnamGhader외 3명|arXiv (Cornell University)|2023. 07. 31.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 질문 응답을 위한 지시어 따르기 모델을 평가하기 위해 새로운 평가 지표인 정확성에 대한 재현율(Recall)과 충실도에 대한 K-정밀도(K-Precision)를 제안하여 기존의 F1이나 정확매칭(EM)과 같은 전통적 지표보다 인간 평가와 더 잘 일치함을 보여준다. GPT-3.5는 정확성에서 뛰어난 성능을 보이며, Flan-T5는 충실도에서 뛰어난 성능을 보이지만, 모든 모델가 제공된 무관한 지식에 대해 답변을 거부하는 데에 어려움을 겪는다.

ABSTRACT

Retriever-augmented instruction-following models are attractive alternatives to fine-tuned approaches for information-seeking tasks such as question answering (QA). By simply prepending retrieved documents in its input along with an instruction, these models can be adapted to various information domains and tasks without additional fine-tuning. While the model responses tend to be natural and fluent, the additional verbosity makes traditional QA evaluation metrics such as exact match (EM) and F1 unreliable for accurately quantifying model performance. In this work, we investigate the performance of instruction-following models across three information-seeking QA tasks. We use both automatic and human evaluation to evaluate these models along two dimensions: 1) how well they satisfy the user's information need (correctness), and 2) whether they produce a response based on the provided knowledge (faithfulness). Guided by human evaluation and analysis, we highlight the shortcomings of traditional metrics for both correctness and faithfulness. We then propose simple token-overlap based and model-based metrics that reflect the true performance of these models. Our analysis reveals that instruction-following models are competitive, and sometimes even outperform fine-tuned models for correctness. However, these models struggle to stick to the provided knowledge and often hallucinate in their responses. We hope our work encourages a more holistic evaluation of instruction-following models for QA. Our code and data is available at https://github.com/McGill-NLP/instruct-qa

연구 동기 및 목표

• 질문 응답을 위한 지시어 따르기 모델 평가에서 F1 및 정확매칭(EM)과 같은 전통적 평가 지표의 한계를 해결하기 위해.
• 지시어 따르기 모델의 성능을 두 가지 차원—정확성(사용자 정보 요구를 충족하는지)과 충실도(제공된 지식에 기반한지)—에서 분석하기 위해.
• 검색 증강 질문 응답에서 정확성과 충실도에 대해 인간 평가와 더 잘 일치하는 자동 평가 지표를 특정하기 위해.
• 무관한 지식이 제공되었을 때 모델의 행동, 특히 환상이나 부적절한 답변을 하려는 경향을 평가하기 위해.
• 지시어 튜닝 모델에서 정확성과 충실도를 모두 고려하는 종합적인 평가 프레임워크의 필요성을 주장하기 위해.

제안 방법

• 정확성 평가를 위한 토큰 겹침 지표인 재현율(Recall)을 제안하여 기준 답변 토큰 중 모델 응답에 포함된 비율을 측정한다.
• 충실도 평가를 위한 K-정밀도(K-Precision)를 도입하여 모델 응답 토큰 중 제공된 지식 스니펫에 포함된 비율을 계산한다.
• 정확성과 충실도에 대한 기준값을 확보하기 위해 900개의 모델 응답에 대해 인간 평가를 수행하여 자동 평가 지표와의 상관 분석을 가능하게 한다.
• lexical 지표(Recall, F1, EM, K-Precision)와 모델 기반 지표(GPT-4 기반 평가, LLMCritic)를 인간 평가와 비교한다.
• GPT-3.5, Llama-2, Flan-T5, Alpaca 등의 여러 지시어 따르기 모델을 자연 질문(Natural Questions, 개방형), HotpotQA(다단계 추론), TopiOCQA(대화형) 세 가지 질문 응답 데이터셋에서 평가한다.
• 무관한 문단을 삽입하여 악성 조건에서의 모델 행동을 시험함으로써 거부 행동과 지식 기반 신뢰성의 정도를 평가한다.

Figure 1: Sample response generated by GPT-3.5. The model response is correct w.r.t information need but only partially faithful w.r.t knowledge as only one of the two locations mentioned in the response can be found in the knowledge (truncated for readability). Recall (§ 4.2 ) and K-Precision (§ 5.

실험 결과

연구 질문

• RQ1 F1과 EM과 같은 전통적 지표가 문장이 길거나 지시어 따르기 모델의 응답에서 어색하게 표현된 경우 인간 평가의 정확성 판단과 얼마나 잘 일치하는가?
• RQ2 기존의 지표들이 얼마나 잘 충실도를 측정하는가—즉, 모델 응답이 제공된 지식에 기반했는가?
• RQ3 자동 평가 지표 중에서(어휘 기반 또는 모델 기반) 인간 평가에 가장 잘 일치하는 것은 무엇인가?
• RQ4 지시어 따르기 모델이 무관하거나 정보가 없는 지식을 제공받았을 때 어떻게 행동하는가—특히 답변을 거부하는 경향은 어떠한가?
• RQ5 Recall과 K-Precision와 같은 단순하고 접근 가능한 지표가 고비용의 LLM 기반 평가의 신뢰할 수 있는 대안이 될 수 있는가?

주요 결과

• Recall은 특히 약어화되거나 확장된 답변이 포함된 경우 F1과 EM보다 인간 평가와 가장 높은 상관관계를 보이며 정확성 평가에서 가장 뛰어난 성능을 보였다.
• K-Precision는 환상적 또는 근거 없는 주장이 포함된 경우를 탐지하는 데 있어 다른 토큰 겹침 지표보다 인간 평가와 가장 강한 상관관계를 보이며 충실도 평가에서 가장 뛰어난 성능을 보였다.
• GPT-3.5는 Recall과 인간 평가 모두에서 세 데이터셋 전반에 걸쳐 가장 높은 정확성 성능을 기록했다.
• Flan-T5는 모든 데이터셋에서 일관되게 높은 K-Precision 점수를 기록하여 제공된 지식에 더 강하게 기반한 응답을 보이며 가장 뛰어난 충실도 성능을 보였다.
• GPT-3.5와 Flan-T5를 포함한 모든 모델가 무관한 지식이 제공되었을 때 답변을 거부하는 데에 신뢰할 수 없을 정도로 어려움을 겪었으며, Llama-2는 NQ와 HotpotQA에서 가장 높은 거부율(99%)을 보였다.
• GPT-4 기반 평가와 LLMCritic와 같은 모델 기반 지표는 인간 평가와 강한 일치를 보였지만 비용이 많이 들고 편향에 취약하여 Recall과 K-Precision와 같은 접근 가능한 대안의 필요성을 강조한다.

Figure 4: Failure cases of F1 metric. More Elaborate Answers is the most common failure sub-category, followed by Open-ended Questions .