[논문 리뷰] CLUE: A Chinese Language Understanding Evaluation Benchmark

Liang Xu, Hai Hu외 30명|arXiv (Cornell University)|2020. 04. 13.

Topic Modeling참고 문헌 38인용 수 63

한 줄 요약

CLUE는 9개 태스크, 214 GB 규모의 사전 학습 말뭉치, 진단 데이터셋, 그리고 중국어 모델 평가를 위한 PyCLUE 툴킷이 포함된 대규모 중국어 NLU 벤치마크를 도입한다.

ABSTRACT

The advent of natural language understanding (NLU) benchmarks for English, such as GLUE and SuperGLUE allows new NLU models to be evaluated across a diverse set of tasks. These comprehensive benchmarks have facilitated a broad range of research and applications in natural language processing (NLP). The problem, however, is that most such benchmarks are limited to English, which has made it difficult to replicate many of the successes in English NLU for other languages. To help remedy this issue, we introduce the first large-scale Chinese Language Understanding Evaluation (CLUE) benchmark. CLUE is an open-ended, community-driven project that brings together 9 tasks spanning several well-established single-sentence/sentence-pair classification tasks, as well as machine reading comprehension, all on original Chinese text. To establish results on these tasks, we report scores using an exhaustive set of current state-of-the-art pre-trained Chinese models (9 in total). We also introduce a number of supplementary datasets and additional tools to help facilitate further progress on Chinese NLU. Our benchmark is released at https://www.CLUEbenchmarks.com

연구 동기 및 목표

• 중국어 자연어 이해를 위한 영어 벤치마크(GLUE/SuperGLUE)와 동등한 포괄적이고 표준화된 벤치마크를 제공한다.
• 단일 문장, 문장 쌍, 기계 독해를 아우르는 다양한 중국어 NLU 태스크를 큐레이션하여 모델의 다양한 능력을 탐구한다.
• 의미 있는 모델 간 비교를 가능하게 하는 대규모의 공개 중국어 사전 학습 코퍼스를 공개한다.
• 중국어 특유의 언어 현상을 모델이 얼마나 잘 이해하는지 분석할 수 있는 진단 데이터와 채용 및 재현이 쉬운 도구를 제공한다.

제안 방법

• 명확한 학습/개발/시험 분할을 갖춘 9개의 중국어 NLU 태스크(단일 문장, 문장 쌍, 및 MRC)를 수집한다.
• 여러 출처(CLUECorpus2020-small, CLUECorpus2020, CLUEOSCAR)로부터 총 214 GB 규모의 중국어 사전 학습 코퍼브를 생성하여 약 76억 단어를 포함한다.
• 중국어 언어학자들이 설계한 언어학적으로 동기를 가진 진단 데이터셋을 구성하여 지시어, 단조성(monotonicity), 중국어 고유의 시상 표지 등 현상을 탐구한다.
• 자동 평가 시스템이 포함된 공개 온라인 리더보드를 제공하고 오픈 소스 모델의 재현성을 인증한다.
• 표준 아키텍처에서 CLUE 태스크를 학습하고 평가할 수 있도록 TensorFlow 기반의 도구 키트인 PyCLUE를 개발한다.

실험 결과

연구 질문

• RQ1 현재의 pretrained 중국어 언어 모델들이 다양한 중국어 NLU 태스크에서 어떻게 성능을 보이는가?
• RQ2 CLUE 내에서 모델 규모와 사전 학습 데이터가 중국어 NLU 성능에 어떤 영향을 미치는가?
• RQ3 진단 데이터셋으로 포착된 중국어 고유의 언어 현상에서 모델이 어느 정도까지 어려움을 겪는가?
• RQ4 핵심 CLUE 태스크에서 모델의 성능이 인간 성능에 얼마나 근접하며 어떤 영역에서 가장 큰 격차가 발생하는가?

주요 결과

• 더 큰 모델과 더 많은 사전 학습 데이터를 사용한 모델이 평균 CLUE 점수를 더 높게 얻는다.
• RoBERTa-wwm-ext-large 및 ALBERT-xxlarge가 베이스라인 중 최상의 전반적 성능을 보이며, 기계 독해 태스크에서 특히 강점이 두드러진다.
• 작은 모델들(e.g., ALBERT-tiny)은 단일 문장/문장 쌍 태스크에서의 이득이 미미하고 기계 독해 태스크에서는 상당한 성능 저하를 보이며, 글로벌한 이해에 대한 소형 모델의 한계를 시사한다.
• 여러 태스크에서 인간 성능과의 차이가 상당하며, 특히 WSC 스타일의 고차원 추론이나 자유 형식 MRC(C 3)처럼 깊은 추론이 필요한 태스크에서 격차가 크게 나타난다.
• 진단 데이터셋은 강력한 모델조차도 monotonicity와 의미론적 구분과 같은 중국어 특유의 현상에서 어려움을 겪는다는 것을 보여준다.