[논문 리뷰] A Critical Evaluation of Evaluations for Long-form Question Answering

Fangyuan Xu, Yixiao Song외 2명|arXiv (Cornell University)|2023. 05. 29.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인간 전문가 평가와 자동 평가 지표를 비교함으로써 장문형 질의응답(LFQA)에 대한 최초의 종합적 평가를 제시한다. 기존의 자동 평가 지표 중 어느 것도 인간의 선호도를 신뢰성 있게 예측하지 못하는 것으로 밝혀졌지만, 일부 지표는 일관성과 사실성과 같은 세부적인 측면과 상관관계를 보이며, 종합적인 점수보다 다각도 평가의 필요성을 주장한다. 저자들은 향후 LFQA 평가 연구를 촉진하기 위해 전문가가 주석 처리한 데이터와 코드를 공개한다.

ABSTRACT

Long-form question answering (LFQA) enables answering a wide range of questions, but its flexibility poses enormous challenges for evaluation. We perform the first targeted study of the evaluation of long-form answers, covering both human and automatic evaluation practices. We hire domain experts in seven areas to provide preference judgments over pairs of answers, along with free-form justifications for their choices. We present a careful analysis of experts' evaluation, which focuses on new aspects such as the comprehensiveness of the answer. Next, we examine automatic text generation metrics, finding that no existing metrics are predictive of human preference judgments. However, some metrics correlate with fine-grained aspects of answers (e.g., coherence). We encourage future work to move away from a single "overall score" of the answer and adopt a multi-faceted evaluation, targeting aspects such as factuality and completeness. We publicly release all of our annotations and code to spur future work into LFQA evaluation.

연구 동기 및 목표

• 장문형 질의응답(LFQA) 평가에 대한 현재 평가 관행의 신뢰성과 타당성을 조사하기 위해.
• 기존의 자동 텍스트 생성 지표가 LFQA 답변에 대한 인간의 선호도 평가와 얼마나 상관관계가 있는지 평가하기 위해.
• 전문가들이 표면적 특성보다 사실성, 완전성, 일관성과 같은 핵심 품질 차원을 우선시하는 이유를 규명하기 위해.
• 종합 점수 기반의 인간 평가에서 다각도 평가 프레임워크로의 전환을 주장하기 위해.
• 향후 LFQA 평가 연구를 지원하기 위해 전문가가 주석 처리한 260개의 선호도 평가 데이터셋(이유 포함)을 공개하기 위해.

제안 방법

• 생물학, 경제학 등 일곱 분야의 도메인 전문가를 고용하여 LFQA 답변에 대한 상호 비교 선호도 평가를 수행하고, 세부적인 이유를 제시함.
• 260개의 전문가 평가를 포함한 140개의 답변 쌍을 수집하였으며, 주로 사실성, 완전성, 일관성 및 기타 세부적 측면에 초점을 맞춘 주석을 제공함.
• 기존의 12개 자동 평가 지표(예: ROUGE, QAFactEval, RankGen)를 활용하여 인간 평가의 종합적 품질과 특정 측면에 대한 상관관계를 평가함.
• 명시적 개체 인식, 질문 생성, 답변 검증, 유사도 점수 계산을 조합한 파이프라인을 통해 미세조정된 BART 및 Electra 모델을 활용한 학습된 지표(LERC)를 훈련함.
• few-shot 쌍 비교 평가를 위해 GPT-3 text-davinci-003를 프리테스트하여, 두 개의 예시를 포함한 컨텍스트 학습과 온도 샘플링을 활용함.
• 다단계 평가 파이프라인을 사용함: (1) 소스에서 답변 추출, (2) 질문 생성, (3) 답변 검증, (4) 학습된 지표를 활용한 유사도 점수 계산.

실험 결과

연구 질문

• RQ1 전문가 평가와 일반 대중 평가자가 LFQA 답변 평가 기준에서 어떻게 다를까?
• RQ2 전문가 선호도 평가에서 가장 결정적인 답변 품질 요소는 무엇인가? 예를 들어 사실성, 완전성, 일관성 등.
• RQ3 기존의 자동 평가 지표가 LFQA 답변에 대한 인간 선호도 평가와 얼마나 상관관계가 있는가?
• RQ4 학습된 지표는 인간 선호도 평가를 효과적으로 예측할 수 있는가, 아니면 품질의 일부 요소만 반영하는가?
• RQ5 LFQA 답변 평가에 단일 종합 점수를 사용하는 데에는 어떤 한계가 있으며, 더 효과적인 대안은 무엇인가?

주요 결과

• 전문가들은 요약성 같은 표면적 특성보다 사실성과 완전성을 우선시하며, 세부적 요소에 대한 평가 기준이 다름에 따라 종종 의견을 달리 함.
• 기존의 자동 평가 지표 중 어느 것도 인간 선호도 평가에 대해 종합적 품질 평가에서 신뢰성 있게 상관관계를 보이지 않아, 현재 평가 관행에 중대한 격차가 있음.
• QAFactEval 및 RankGen과 같은 지표는 충실도와 일관성과 같은 세부적 요소와 중간 정도의 상관관계를 보이며, 특정 지표 개발에 잠재력이 있음.
• 연구 결과에 따르면, 심지어 전문가들조차도 상당한 불일치를 보이며, LFQA에서 답변 품질을 정의하는 데 복잡성이 있음을 드러냄.
• 저자들은 향후 LFQA 평가 연구를 위한 기준이 될 수 있는 260개의 전문가 주석 처리된 답변 쌍(이유 포함)으로 구성된 새로운 데이터셋을 공개함.
• 프리테스트 결과, GPT-3는 few-shot 환경에서 높은 일관성과 중간 정도의 인간 선호도 일치를 달성할 수 있었지만, 추가 연구가 필요함.