[논문 리뷰] GLGE: A New General Language Generation Evaluation Benchmark

Dayiheng Liu, Yu Yan외 16명|arXiv (Cornell University)|2020. 11. 24.

Topic Modeling참고 문헌 43인용 수 9

한 줄 요약

이 논문은 자연어 생성(NLG) 모델의 일반화 능력을 평가하기 위한 종합적인 다중 작업 벤치마크인 GLGE를 소개한다. GLGE는 어려움 수준(쉬움, 보통, 어려움) 3단계로 나누어 총 8개의 NLG 작업에서 24개의 하위작업을 포함한다. BART와 ProphetNet과 같은 최신 사전학습 모델을 평가한 결과, 더 어려운 작업에서 뚜렷한 성능 격차가 드러났으며, 오픈소스 데이터셋, 표준화된 평가 지표, 공개 리더보드를 제공하여 NLG 연구를 가속화한다.

ABSTRACT

Multi-task benchmarks such as GLUE and SuperGLUE have driven great progress of pretraining and transfer learning in Natural Language Processing (NLP). These benchmarks mostly focus on a range of Natural Language Understanding (NLU) tasks, without considering the Natural Language Generation (NLG) models. In this paper, we present the General Language Generation Evaluation (GLGE), a new multi-task benchmark for evaluating the generalization capabilities of NLG models across eight language generation tasks. For each task, we continue to design three subtasks in terms of task difficulty (GLGE-Easy, GLGE-Medium, and GLGE-Hard). This introduces 24 subtasks to comprehensively compare model performance. To encourage research on pretraining and transfer learning on NLG models, we make GLGE publicly available and build a leaderboard with strong baselines including MASS, BART, and ProphetNet (The source code and dataset are publicly available at https://github.com/microsoft/glge).

연구 동기 및 목표

• 자연어 생성(NLG) 모델의 일반화 능력을 평가하기 위한 종합적이고 표준화된 벤치마크의 부족을 해결하기 위해.
• 다양한 입력/출력 길이, 텍스트 유형, 데이터셋 크기를 포함한 다양한 NLG 작업을 커버하는 다중 작업 벤치마크를 설계하기 위해.
• 각 작업에 대해 쉬움, 보통, 어려움의 3단계 어려움 수준을 도입하여 모델 능력에 대한 세분화된 평가를 가능하게 하기 위해.
• 표준화된 평가 지표와 자동화된 스크립트를 제공하여 일관된 모델 비교를 가능하게 하기 위해.
• 오픈소스 데이터셋을 배포하고 공개 리더보드를 유지함으로써 NLG 사전학습 및 전이학습 연구를 촉진하기 위해.

제안 방법

• 벤치마크는 텍스트 요약, 질의 생성, 생성형 질의 응답, 대화 응답 생성 등 8개의 핵심 NLG 작업을 포함하며, 작업의 다양성과 평가 가능성에 따라 선정되었다.
• 8개의 작업 각각에 대해 입력 복잡도와 생성 제약 조건을 고려해 점차 어려워지는 세 가지 하위작업(GLGE-쉬움, GLGE-보통, GLGE-어려움)을 생성하였다.
• 6개의 기존 데이터셋을 재사용하고, 실제 응용 사례에서 유래한 2개의 새로운 데이터셋을 도입하여 실용성과 다양성을 향상시켰다.
• 모든 작업에 동일하게 적용되는 표준화된 자동 평가 지표(예: BLEU, ROUGE)를 사용하여 공정하고 일관된 비교를 보장하였다.
• 기준 모델로는 사전학습되지 않은 모델(예: 일반적인 LSTM, Transformer)과 최신 사전학습 모델(예: MASS, BART, ProphetNet)을 포함하여 비교 평가를 수행하였다.
• 공개 리더보드를 유지하여 벤치마크 전반에서 모델 성능 향상에 대한 추적과 촉진을 수행하였다.

실험 결과

연구 질문

• RQ1 BART와 ProphetNet과 같은 사전학습된 NLG 모델은 비사전학습 모델에 비해 다양한 일반화 가능한 NLG 작업에서 어떻게 성능을 내는가?
• RQ2 쉬운 작업(GLGE-쉬움)에 비해 더 어려운 하위작업(GLGE-어려움)에서 모델 성능이 얼마나 떨어지는가?
• RQ3 다양한 NLG 생성 작업에서 표준 자동 평가 지표가 인간 평가와 얼마나 상관이 있는가?
• RQ4 제안된 벤치마크는 다양한 능력과 사전학습 범위를 가진 모델 간의 차이를 효과적으로 식별할 수 있는가?
• RQ5 현재의 사전학습된 NLG 모델이 복잡한 고난이도 생성 작업을 처리하는 데에서 나타내는 주요 한계는 무엇인가?

주요 결과

• BART와 ProphetNet과 같은 사전학습된 NLG 모델은 GLGE 하위작업 전반에서 비사전학습 모델(예: 일반적인 LSTM 및 Transformer)보다 뚜렷이 뛰어난 성능을 보였다.
• 쉬운 작업에서는 강력한 성능를 보였지만, 가장 도전적인 GLGE-어려움 하위작업에서는 여전히 향상 여지가 크다는 것이 드러났다.
• n-그램 다양성 분석 결과, 최상위 모델조차도 출력의 다양성이 부족함을 확인하여 NLG에서 더 나은 다양성 제어가 필요함을 시사한다.
• 추상적 요약 및 답변 기반 질의 생성과 같은 복잡한 작업에서 모델 간 성능 격차가 가장 두드러졌다.
• 벤치마크는 장기적 맥락 입력, 희귀 엔티티, 복잡한 추론 처리에 대한 모델의 약점을 효과적으로 식별하였다.
• 공개 리더보드와 표준화된 평가 프레임워크는 이미 커뮤니티 수준의 모델 비교와 진전 추적을 가능하게 하고 있다.