[논문 리뷰] Evaluating Open-QA Evaluation

Cunxiang Wang, Sirui Cheng외 8명|arXiv (Cornell University)|2023. 05. 21.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 개방형 질문 응답(Open-QA)에서 자동 평가 지표의 신뢰성을 평가하기 위해 QA-Eval 작업과 EVOUNA 데이터셋을 소개한다. 인간이 평가한 기준과 비교하여 어휘 일치, BERT-Score, BELURT, GPT-3.5 등의 자동 평가자들을 평가함으로써, 현재의 방법 중 어느 것도 인간의 판단을 완전히 따라가지 못함을 밝혀내었으며, 특히 장문의 정보가 풍부한 답변에 대해 LLM 기반 평가자들이 특히 취약함을 확인하였다. 본 연구는 LLM의 사실성 평가 향상을 위한 벤치마크를 제공한다.

ABSTRACT

This study focuses on the evaluation of the Open Question Answering (Open-QA) task, which can directly estimate the factuality of large language models (LLMs). Current automatic evaluation methods have shown limitations, indicating that human evaluation still remains the most reliable approach. We introduce a new task, Evaluating QA Evaluation (QA-Eval) and the corresponding dataset EVOUNA, designed to assess the accuracy of AI-generated answers in relation to standard answers within Open-QA. Our evaluation of these methods utilizes human-annotated results to measure their performance. Specifically, the work investigates methods that show high correlation with human evaluations, deeming them more reliable. We also discuss the pitfalls of current methods and methods to improve LLM-based evaluators. We believe this new QA-Eval task and corresponding dataset EVOUNA will facilitate the development of more effective automatic evaluation tools and prove valuable for future research in this area. All resources are available at \url{https://github.com/wangcunxiang/QA-Eval} and it is under the Apache-2.0 License.

연구 동기 및 목표

• 정확한 일치(EM) 평가의 한계를 해결하기 위해, 답변의 의미적 동치성을 고려하지 못하는 문제를 해결하기 위함.
• 자동 평가 지표가 인간 판단과 얼마나 관련이 있는지 평가할 수 있도록, 평가의 질을 평가하는 새로운 벤치마크 작업인 QA-Eval을 개발하기 위함.
• Open-QA 출력물에 대한 자동 평가자 성능을 평가하기 위한 인간이 평가한 자료인 EVOUNA 데이터셋을 구축하기 위함.
• 어휘 일치, 신경망 기반 지표, LLM 기반 평가자들을 포함한 기존 자동 평가 방법의 강점과 약점을 규명하기 위함.
• 대규모 언어 모델의 Open-QA에서 보다 신뢰성 있고 사실성 인식 평가 도구 개발을 위한 향후 방향을 제시하기 위함.

제안 방법

• 자동 평가 지표가 인간이 평가한 정확성 기준에 비해 모델 출력물을 얼마나 잘 순위 매기는지 평가하는 QA-Eval 작업을 제안함.
• 자연질문(Natural Questions)과 트리비아QA(TriviaQA)에서 다섯 개의 Open-QA 모델의 출력물에 대해 인간이 평가한 정확성 판단을 수집하여 EVOUNA 데이터셋을 구축함.
• EVOUNA 데이터셋에 대해 어휘 일치, BERT-Score, BELURT, GPT-3.5 등의 다양한 자동 평가 지표를 적용하여 인간 판단과의 상관관계를 측정함.
• 스피어만 순위 상관관계와 매크로-F1을 사용하여 각 평가자 성능을 인간 평가 순위와 정량적으로 비교함.
• 평가자 출력물의 오류 유형을 수동으로 분류하여 체계적 편향(예: 어휘 변형이나 확장된 답변를 너무 엄격하게 기각함)을 특정함.
• EVOUNA와 평가 코드를 포함한 모든 자원을 재현 가능성과 커뮤니티 활용을 위해 Apache-2.0 라이선스 하에 공개함.

Figure 1: Distribution of outcomes for three evaluators on EVOUNA-NQ. Each pie chart aggregates results across EVOUNA-NQ subsets, showing proportions of TP, TN, FP, and FN for each evaluator.

실험 결과

연구 질문

• RQ1 기존 자동 평가 지표가 Open-QA에서 인간 판단과 얼마나 관련이 있는가?
• RQ2 GPT-3.5와 같은 LLM 기반 평가자들이 인간과 비교해 Open-QA 응답의 사실적 정확성을 신뢰성 있게 평가할 수 있는가?
• RQ3 자동 평가자에서 발생하는 주요 오류 패턴은 무엇이며, 지표와 답변 유형에 따라 어떻게 다를까?
• RQ4 자동 평가자의 성능은 다양한 Open-QA 모델과 데이터셋(예: Natural Questions 대비 TriviaQA) 간에 어떻게 달라지는가?
• RQ5 현재 지표들이 의미적 동치성을 얼마나 잘 포착하지 못하는가, 특히 어휘 변형이나 정보가 풍부한 답변에서 어떻게 되는가?

주요 결과

• 정확한 일치(EM)는 모델 성능을 최대 9.7%p 과소평가하며, DPR+FiD는 Natural Questions에서 EM 기준 59.2점이지만 인간 평가 기준 68.9점으로 나타남.
• 어느 자동 평가자도 인간 순위를 완전히 재현하지 못함: GPT-3.5는 NQ에서 최대 스피어만 상관계수 0.82, TQ에서 0.88를 기록했지만, 여전히 인간-인간 일致 수준에는 못 미침.
• LLM 기반 평가자인 GPT-3.5는 장문의 세부 정보가 담긴 답변에서 특히 성능이 떨어지며, Chat-Llama2 출력물에선 매크로-F1이 43.0으로 떨어지나, 인간 평가 기준 골드 표준에 비해 97.4로 훨씬 떨어짐.
• 어휘 일치가 BERT-Score나 BELURT와 같은 신경망 기반 지표보다 인간 판단과의 상관관계에서 뛰어나며, 특히 짧은 답변에서 두드러짐.
• 오류 분석 결과 평가자들이 종종 유효한 어휘 변형이나 확장된 답변를 기각하는 경향이 있으며, 이는 과도한 엄격함 때문임. 어휘 일치가 가장 높은 오류율(10.3%)을 보였지만 인간 순위와 가장 일관성 있음.
• EVOUNA 데이터셋은 심지어 최고 성능을 보이는 자동 평가자(GPT-3.5)도 BingChat 출력물에 대해 30.5%의 오류율을 보이며, 인간 오류율의 6배 이상 높아 신뢰성 격차가 뚜렷함을 드러냄.

Figure 2: Distribution of error types for the three evaluators on the EVOUNA-NQ dataset, based on manual classification. Each pie chart segment represents the proportion of a specific error type for that evaluator.