[논문 리뷰] GENIE: A Leaderboard for Human-in-the-Loop Evaluation of Text Generation.

Daniel Khashabi, Gabriel Stanovsky외 6명|arXiv (Cornell University)|2021. 01. 17.

Topic Modeling참고 문헌 62인용 수 47

한 줄 요약

GENIE는 텍스트 생성의 다각도적 품질 축(예: 유창성, 정확성, 간결성)을 고려한 확장 가능한 인간 평가 리더보드를 도입하며, 인간 평가 결과를 자동 평가 지표와 비교하는 컨소시엄 평가를 자동화한다. 이는 번역, 요약, 공통지식 추론, 기계 이해 등 다양한 텍스트 생성 작업에 대해 표준화되고 확장 가능한 평가를 가능하게 한다.

ABSTRACT

Leaderboards have eased model development for many NLP datasets by standardizing their evaluation and delegating it to an independent external repository. Their adoption, however, is so far limited to tasks that can be reliably evaluated in an automatic manner. This work introduces GENIE, an extensible human evaluation leaderboard, which brings the ease of leaderboards to text generation tasks. GENIE automatically posts leaderboard submissions to crowdsourcing platforms asking human annotators to evaluate them on various axes (e.g., correctness, conciseness, fluency) and compares their answers to various automatic metrics. We introduce several datasets in English to GENIE, representing four core challenges in text generation: machine translation, summarization, commonsense reasoning, and machine comprehension. We provide formal granular evaluation metrics and identify areas for future research. We make GENIE publicly available and hope that it will spur progress in language generation models as well as their automatic and manual evaluation.

연구 동기 및 목표

• 기존 리더보드에서 자동 평가 지표에 의존함으로써 자주 제외되는 표준화되고 확장 가능한 인간 평가의 부족을 해결한다.
• 자동화된 제출 경로를 통해 다양한 텍스트 생성 과제에서 일관되고 재현 가능한 인간 평가를 실현한다.
• 유창성, 간결성, 정확성 등 여러 품질 차원에서 인간 평가를 체계적으로 평가하기 위해 인간 평가 결과를 비교한다.
• 자동 평가 지표와 인간 평가 간 격차를 규명하여 향후 평가 프레임워크 개발을 안내한다.
• 공개 가능하고 확장 가능한 플랫폼을 제공하여 텍스트 생성 및 평가 방법론의 발전을 가속화한다.

제안 방법

• 유창성, 정확성, 간결성 등 정의된 품질 축에 따라 모델 출력물을 크라우드소싱 플랫폼에 자동으로 제출하여 인간 평가를 수행한다.
• 핵심 텍스트 생성 과제를 커버하는 네 개의 새로운 영어 데이터셋을 설계하고 통합한다: 기계 번역, 요약, 공통지식 추론, 기계 이해.
• 텍스트 품질의 다차원적 측정을 정량화하기 위해 공식적인 세분화된 평가 지표를 구현한다.
• 인간 평가 점수와 기존 자동 평가 지표의 점수를 비교하여 격차를 규명하고 지표의 신뢰도를 평가한다.
• 다양한 텍스트 생성 과제에서 지속적인 제출, 평가, 벤치마킹을 지원하는 확장 가능한 리더보드 인프라를 구축한다.
• 플랫폼의 재현 가능성과 공개 가능성을 확보하여 커뮤니티의 도입과 향후 연구를 장려한다.

실험 결과

연구 질문

• RQ1 유창성, 정확성, 간결성 등 다양한 품질 축에서 인간 평가 결과는 어떻게 달라지나?
• RQ2 다양한 텍스트 생성 과제에서 자동 평가 지표는 인간 평가 점수와 얼마나 상관이 있는가?
• RQ3 지속적인 모델 벤치마킹을 지원하기 위해 자동화되고 확장 가능한 인간 평가 시스템을 효과적으로 구현할 수 있는가?
• RQ4 텍스트 생성 평가에서 인간 평가와 기존 자동 평가 지표 간의 주요 격차는 무엇인가?
• RQ5 표준화되고 확장 가능한 인간 평가 리더보드는 텍스트 생성 모델의 개발 및 평가를 어떻게 향상시킬 수 있는가?

주요 결과

• GENIE는 다양한 품질 차원에서 텍스트 생성 출력물에 대해 자동화되고 대규모의 인간 평가를 성공적으로 수행한다.
• 인간 평가 결과는 자동 평가 지표와 인간이 인식하는 품질 간에 상당한 격차를 드러내며, 특히 유창성과 정확성에서 두드러진다.
• 번역, 요약, 공통지식 추론, 기계 이해 등 다양한 텍스트 생성 과제에서 일관되고 재현 가능한 평가를 지원한다.
• 인간 평가를 자동 평가 지표와 통합함으로써 현재 자동 평가 방법의 한계를 드러내며 향후 개선이 필요한 분야를 명확히 한다.
• 공개 가능하고 확장 가능한 인프라를 제공하여 지속적인 벤치마킹과 커뮤니티 기반의 텍스트 생성 모델 평가를 지원한다.
• 다양한 품질 축을 기반으로 모델 출력물을 체계적으로 비교할 수 있어, 자동 평가 지표만으로는 제공할 수 없는 보다 세밀한 평가를 가능하게 한다.