[논문 리뷰] Repairing the Cracked Foundation: A Survey of Obstacles in Evaluation Practices for Generated Text

Sebastian Gehrmann, Elizabeth A. Clark외 1명|arXiv (Cornell University)|2022. 02. 14.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 자연어 생성(NLG) 평가의 오랜 문제점을 점검하며, 편향된 데이터셋, 신뢰할 수 없는 자동 평가 지표, 일관성 없는 인간 평가를 포함한다. 평가 보고서를 제안하여 다양한 지표와 공유된 데이터를 활용해 모델의 한계를 강조함으로써, 최근 NLG 논문 중 오직 27%만이 핵심 권고사항을 따르며, 데이터셋 문서화와 재현 가능성 측면에서 심각한 격차가 있음을 보여준다.

ABSTRACT

Evaluation practices in natural language generation (NLG) have many known flaws, but improved evaluation approaches are rarely widely adopted. This issue has become more urgent, since neural NLG models have improved to the point where they can often no longer be distinguished based on the surface-level features that older metrics rely on. This paper surveys the issues with human and automatic model evaluations and with commonly used datasets in NLG that have been pointed out over the past 20 years. We summarize, categorize, and discuss how researchers have been addressing these issues and what their findings mean for the current state of model evaluations. Building on those insights, we lay out a long-term vision for NLG evaluation and propose concrete steps for researchers to improve their evaluation processes. Finally, we analyze 66 NLG papers from recent NLP conferences in how well they already follow these suggestions and identify which areas require more drastic changes to the status quo.

연구 동기 및 목표

• 생성 텍스트 평가의 자동화 및 인간 평가 시스템적 결함을 해결하여 모델 능력에 대한 정확한 평가를 가능하게 한다.
• 다양성 부족, 영어 중심 편향, 낮은 문서화 수준 등 지속적인 문제를 지닌 NLG 데이터셋이 평가 결과에 왜곡을 초래하는지 규명한다.
• 모델 성능 향상에 대한 출판 인cent리브(높은 성능 수치)와 모델 한계에 대한 철저하고 투명한 평가의 필요성 간의 괴리를 부각한다.
• 다양한 지표와 공유된 데이터를 활용해 모델의 한계를 기록하는 표준화된 프레임워크인 평가 보고서를 제안한다.
• 모델 성능과 실제 적용 가능성 사이의 격차를 줄이기 위해 평가 최적 실천 방법의 전 분야적 도입을 촉구한다.

제안 방법

• NLG 평가에 대한 20년 분량의 비판 논문을 조사하여 자동 지표, 인간 평가, 데이터셋 설계 분야의 문제를 분류한다.
• ACL, EMNLP, INLG에서 발표된 최근 66篇의 NLG 논문을 분석하여 제안된 평가 최적 실천 방법 준수 여부를 평가한다.
• 모델 한계의 원인 분석에 초점을 맞춘 평가 보고서를 제안하며, 자동 지표, 인간 평가, 데이터 공개를 통합한다.
• 구식 지표의 폐기와 BLEURT와 같은 더 견고한 신규 지표의 도입을 주장하여 최적화가 품질 향상과 일치하도록 한다.
• 평가 보고서 표준을 이행하고 모델 개발의 책임성을 높이기 위해 심사 과정의 변화를 촉구한다.
• Mitchell 등(2019)의 모델 문서화 및 공식 평가 절차의 통합을 통해 평가의 엄밀함을 강화한다.

실험 결과

연구 질문

• RQ1 NLG 분야에서 생성 텍스트 평가의 자동화 및 인간 평가 방식에 내재된 핵심 결함는 무엇인가?
• RQ2 일반적으로 사용되는 NLG 데이터셋의 편향성과 열악한 설계가 모델 평가의 신뢰성에 어떻게 악영향을 미치는가?
• RQ3 그 가치가 강력한 증거로 입증된 평가 방법 개선이 왜 여전히 거의 채택되지 않는가?
• RQ4 최근 NLG 논문들이 평가 보고서, 데이터셋 문서화, 지표 다양성 측면에서 최적 실천 방법을 얼마나 따르는가?
• RQ5 모델 한계에 초점을 맞춘 평가 보고서가 모델의 투명성 향상과 장기적인 평가 지속 가능성에 어떻게 기여할 수 있는가?

주요 결과

• 분석한 최근 66篇의 NLG 논문 중 오직 27%만이 핵심 평가 권고사항을 따르며, 최적 실천 방법의 광범위한 미준수를 보여준다.
• 84%의 논문이 여러 데이터셋에서 결과를 보고했지만, 유일한 논문만이 데이터셋 문서화에 기여하여 향후 연구자들이 결함을 재발견하게 된다.
• 대부분의 논문이 모델의 한계를 보고하지만, 실제로 모델가 허구적 생성, 과적합, 단순 추론 작업 실패를 자주 겪는다는 증거가 있다.
• 다수의 논문이 내용 품질이나 사실 일관성과는 거리가 먼 표면적 지표인 BLEU나 ROUGE에 의존한다.
• 기존 지표 기반 강화 학습 최적화는 종종 모델 품질 향상에 실패하지만, BLEURT와 같은 새로운 학습 기반 지표는 유망한 성과를 보이고 있다.
• 강력한 인센티브 불일치가 존재한다: 높은 성능 수치를 내는 것에 초점이 맞춰져 있는 반면, 투명하고 한계 중심의 평가 보고서 작성은 우선시되지 않는다.