[논문 리뷰] Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation

Yixin Liu, Alexander R. Fabbri외 9명|arXiv (Cornell University)|2022. 12. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 원자적 콘텐츠 유닛(ACUs)을 사용하여 높은 상호 평가자 일致도를 달성하는 대규모 인간 평가 데이터셋인 로버스트 요약 평가(RoSE) 벤치마크를 소개한다. ACU 기반 평가가 더 통계적으로 안정된 결과를 도출함을 입증하고, GPTScore와 같은 LLM 기반 평가 지표가 입력에 무관한 평가자 선호도에 과적합됨을 드러내며, 다양한 요약 시스템에서 자동 평가 지표를 평가하는 데 신뢰할 수 있는 기반을 제공한다.

ABSTRACT

Human evaluation is the foundation upon which the evaluation of both summarization systems and automatic metrics rests. However, existing human evaluation studies for summarization either exhibit a low inter-annotator agreement or have insufficient scale, and an in-depth analysis of human evaluation is lacking. Therefore, we address the shortcomings of existing summarization evaluation along the following axes: (1) We propose a modified summarization salience protocol, Atomic Content Units (ACUs), which is based on fine-grained semantic units and allows for a high inter-annotator agreement. (2) We curate the Robust Summarization Evaluation (RoSE) benchmark, a large human evaluation dataset consisting of 22,000 summary-level annotations over 28 top-performing systems on three datasets. (3) We conduct a comparative study of four human evaluation protocols, underscoring potential confounding factors in evaluation setups. (4) We evaluate 50 automatic metrics and their variants using the collected human annotations across evaluation protocols and demonstrate how our benchmark leads to more statistically stable and significant results. The metrics we benchmarked include recent methods based on large language models (LLMs), GPTScore and G-Eval. Furthermore, our findings have important implications for evaluating LLMs, as we show that LLMs adjusted by human feedback (e.g., GPT-3.5) may overfit unconstrained human evaluation, which is affected by the annotators' prior, input-agnostic preferences, calling for more robust, targeted evaluation methods.

연구 동기 및 목표

• 요약에 대한 기존 인간 평가 연구에서 낮은 상호 평가자 일치도와 부족한 규모 문제를 해결하기 위해.
• 의미적 콘텐츠 유닛 기반으로 보다 객관적이고 세분화된 인간 평가 프로토콜을 개발하기 위해.
• 다양한 데이터셋에서 최신 요약 시스템을 대상으로 대규모이고 견고한 인간 평가 벤치마크(RoSE)를 구축하기 위해.
• 다양한 인간 평가 프로토콜이 자동 평가 지표 성능과 신뢰성에 어떤 영향을 미치는지 조사하기 위해.
• 제어된 고력 인간 평가 조건 하에서 최근 LLM 기반 평가 지표(GPTScore, G-Eval 등)의 신뢰성 평가하기 위해.

제안 방법

• 원자적 콘텐츠 유닛(ACU) 프로토콜을 제안하여 요약문을 세분화된 의미 유닛으로 분해함으로써 평가 일致도와 상호 평가자 일치도를 향상시킴.
• CNN/DailyMail, XSum, SamSum 데이터셋에서 상위 28개 시스템에 대해 총 22,000개의 요약 수준 평가를 포함하는 RoSE 벤치마크를 구축.
• 내부 및 크라우드소싱 평가를 병행하여 인간 평가의 신뢰성과 확장성을 확보함.
• 참고자료 없는 평가, 참고자료 기반 평가, ACU 기반 평가, LitePyramid 평가의 4가지 인간 평가 프로토콜을 비교하여 프로토콜 영향 분석.
• 큰 표본 크기를 통해 고통계적 검증력을 확보하여 신뢰구간을 좁히고 평가 지표 비교의 유의미성을 높임.
• 50개의 자동 평가 지표(예: GPTScore, G-Eval 등 LLM 기반 방법 포함)를 다양한 프로토콜에 대해 평가하여 인간 평가 결과와의 상관관계 분석.

실험 결과

연구 질문

• RQ1 세분화된 콘텐츠 유닛 기반 인간 평가 프로토콜이 기존 방법보다 더 높은 상호 평가자 일치도를 달성할 수 있는가?
• RQ2 다양한 인간 평가 프로토콜(예: 참고자료 없는 평가 대비 참고자료 기반 평가)이 요약 시스템 및 평가 지표의 평가 성능에 어떤 영향을 미치는가?
• RQ3 GPTScore와 같은 LLM 기반 평가 지표가 평가자 선호도와 입력에 무관한 선호도에 얼마나 과적합되는가?
• RQ4 고력의 대규모 인간 평가 벤치마크는 자동 평가 지표 평가의 통계적 안정성과 신뢰성 향상에 기여하는가?
• RQ5 기존 평가 프로토콜에서 전통적 및 LLM 기반 자동 평가 지표가 견고한 인간 평가와 얼마나 상관관계가 있는가?

주요 결과

• ACU 프로토콜은 높은 상호 평가자 일치도를 달성하여 더 안정적이고 재현 가능한 시스템 평가가 가능함.
• 참고자료 없는 인간 평가에서는 평가자들이 입력에 무관한 선호도, 특히 더 긴 요약문을 선호하는 경향이 강하게 나타남.
• 제로샷 LLM(GPT-3 등)은 참고자료 없는 평가에서는 더 나은 성능을 보이지만, 참고자료 기반 평가에서는 미세조정된 모델보다 성능이 열 劣함.
• GPTScore 및 G-Eval와 같은 LLM 기반 평가 지표는 평가자 선호도에 심각한 과적합을 보이며, 견고한 인간 평가 기준으로 평가할 경우 성능이 열 劣함.
• RoSE 벤치마크를 통해 더 높은 통계적 검증력 확보로 신뢰구간을 좁히고 평가 지표 비교의 유의미성을 높일 수 있음.
• BERTScore 및 ROUGE와 같은 전통적 지표는 최신 LLM 기반 평가 지표보다 ACU 기반 인간 평가와 더 강한 시스템 수준 상관관계를 보임.