[논문 리뷰] GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding

Alex Wang, Amanpreet Singh외 4명|arXiv (Cornell University)|2018. 04. 20.

Topic Modeling참고 문헌 59인용 수 553

한 줄 요약

GLUE는 아홉 개 과제의 NLU 벤치마크와 진단 테스트 스위트를 갖춘 온라인 평가 플랫폼을 도입했다; 주의(attention) 및 ELMo를 활용한 다중 작업 학습은 단일 작업보다 더 나은 결과를 낳았지만, 전반적인 성능은 여전히 인간 수준에 미치지 못한다.

ABSTRACT

For natural language understanding (NLU) technology to be maximally useful, both practically and as a scientific object of study, it must be general: it must be able to process language in a way that is not exclusively tailored to any one specific task or dataset. In pursuit of this objective, we introduce the General Language Understanding Evaluation benchmark (GLUE), a tool for evaluating and analyzing the performance of models across a diverse range of existing NLU tasks. GLUE is model-agnostic, but it incentivizes sharing knowledge across tasks because certain tasks have very limited training data. We further provide a hand-crafted diagnostic test suite that enables detailed linguistic analysis of NLU models. We evaluate baselines based on current methods for multi-task and transfer learning and find that they do not immediately give substantial improvements over the aggregate performance of training a separate model per task, indicating room for improvement in developing general and robust NLU systems.

연구 동기 및 목표

• 다양한 과제와 도메인에 걸쳐 지식을 이전할 수 있는 일반적이고 작업에 구애받지 않는 NLU 모델의 개발 촉진.
• 기존 데이터 세트에서 구축된 영어 NLU 과제 9개를 다양하고 도전적인 형태로 제공.
• 공정하고 모델에 구애받지 않는 평가 및 과제 간 비교를 위한 온라인 플랫폼 제공.
• 언어 능력과 실패 양상을 분석하는 진단 테스트 스위트를 벤치마크에 추가.

제안 방법

• 감정, 함의, 패러프레이즈, 유사성에 걸친 아홉 개의 단일 문장 또는 문장 쌍 NLU 과제를 구성한다.
• 단일 문장 또는 문장 쌍 입력을 처리하는 어떤 방법이든 수용하는 모델-독립적 평가 프레임워크를 채택한다.
• 어휘 신호, 논리, 세계 지식과 같은 현상을 탐구하는 진단 분석 데이터셋을 도입한다.
• 간단한 문장 인코더, 다중 작업 모델, 사전학습 표현(ELMo, CoVe) 등을 포함한 기본선을 평가한다.
• 작업별 점수와 작업별 지표를 포함한 전반적 순위를 위해 과목 간 매크로 평균 점수를 사용한다.
• 공정한 경쟁을 보장하기 위해 온라인 리더보드와 비공개 테스트 데이터를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 NLU 과제에서 공동으로 학습된 단일 모델이 서로 다른 과제에 대해 별도로 학습된 모델보다 우수할 수 있는가?
• RQ2 현대의 사전 학습 및 전이 기법(예: ELMo, CoVe, 어텐션)이 GLUE 과제에서의 성능에 어떤 영향을 미치는가?
• RQ3 진단 데이터 세트가 드러내는 현재 모델의 언어적 추론 능력은 무엇이며 어떤 능력은 실패하는가?
• RQ4 작업 특화 표현과 공유 표현이 일반 NLU 성능에 어느 정도 기여하는가?
• RQ5 일반 목적 NLU의 남은 격차는 무엇이며 GLUE가 이를 밝히는 데 어떤 도움을 줄 수 있는가?

주요 결과

• 다중 작업 학습은 일반적으로 작업별 모델을 개별적으로 학습하는 것보다 전체 성능이 더 낫다.
• 어텐션 메커니즘은 어떤 설정에서는 이득을 제공하지만 모두에서 그렇지는 않다.
• ELMo 임베딩은 순수 GloVe/CoVe 베이스라인보다 성능을 향상시키며, 특히 단일 문장 과제에서 그렇다.
• 사전 학습된 문장 표현들(GenSen, InferSent, DisSent)은 경쟁력 있는 결과를 제공하지만 GLUE에서 종종 작업 특화 모델이나 다중 작업 모델보다 뒤처진다.
• 여러 과제(CoLA, WNLI, RTE 등)에서 모델은 여전히 간단한 베이스라인이나 인간 성능에 비해 뒤처져 개선 여지가 많다.
• 진단 데이터셋은 논리 주도 및 세계 지식 추론의 약점을 드러내며, 향후 모델 향상의 방향을 시사한다.