[논문 리뷰] KLUE: Korean Language Understanding Evaluation

Sungjoon Park, Jihyung Moon외 29명|arXiv (Cornell University)|2021. 05. 20.

Topic Modeling참고 문헌 145인용 수 78

한 줄 요약

KLUE는 서로 다른 말뭉치와 윤리적 주석 프로토콜로 처음부터 구축된 여덟 개의 한국어 NLU 작업을 도입합니다; 기본 모델은 한국 특정 PLM이 뛰어나고, PII 제거의 영향은 미미하며, 형태소 기반 토크나이징이 형태소 민감 작업에 도움이 됩니다.

ABSTRACT

We introduce Korean Language Understanding Evaluation (KLUE) benchmark. KLUE is a collection of 8 Korean natural language understanding (NLU) tasks, including Topic Classification, SemanticTextual Similarity, Natural Language Inference, Named Entity Recognition, Relation Extraction, Dependency Parsing, Machine Reading Comprehension, and Dialogue State Tracking. We build all of the tasks from scratch from diverse source corpora while respecting copyrights, to ensure accessibility for anyone without any restrictions. With ethical considerations in mind, we carefully design annotation protocols. Along with the benchmark tasks and data, we provide suitable evaluation metrics and fine-tuning recipes for pretrained language models for each task. We furthermore release the pretrained language models (PLM), KLUE-BERT and KLUE-RoBERTa, to help reproducing baseline models on KLUE and thereby facilitate future research. We make a few interesting observations from the preliminary experiments using the proposed KLUE benchmark suite, already demonstrating the usefulness of this new benchmark suite. First, we find KLUE-RoBERTa-large outperforms other baselines, including multilingual PLMs and existing open-source Korean PLMs. Second, we see minimal degradation in performance even when we replace personally identifiable information from the pretraining corpus, suggesting that privacy and NLU capability are not at odds with each other. Lastly, we find that using BPE tokenization in combination with morpheme-level pre-tokenization is effective in tasks involving morpheme-level tagging, detection and generation. In addition to accelerating Korean NLP research, our comprehensive documentation on creating KLUE will facilitate creating similar resources for other languages in the future. KLUE is available at https://klue-benchmark.com.

연구 동기 및 목표

• 다양한 한국어 NLU 측면을 형식적 및 구어체 텍스트 전반에 걸쳐 다룬다.
• 자유롭게 재배포 가능한 말뭉치와 관대한 라이선스로 접근성을 보장한다.
• 정확하고 모호하지 않은 주석 프로토콜을 설계하고 편향 및 프라이버시 문제를 완화한다.
• 각 작업에 대해 사전 학습된 언어 모델의 평가 지표와 미세 조정 레시피를 제공한다.
• 복제와 향후 연구를 촉진하기 위해 KLUE 베이스라인 모델을 공개한다.

제안 방법

• 여덟 가지 NLU 작업(TC, STS, NLI, NER, RE, DP, MRC, DST)를 선정하여 다양한 언어 현상을 포괄한다.
• 열 개 소스 코퍼스의 오픈 라이선스 하에 작업별 데이터세트를 구성하고 품질 및 윤리를 필터링한다.
• 데이터를 한국어 문장 분리기와 노이즈, 독성, PII를 위한 자동 필터로 전처리한다.
• 한국어 형태소와 구문을 반영하는 한국 중심의 가이드라인으로 주석을 수행한다.
• 작업별 적합한 평가 지표를 정의한다(예: 매크로 F1, 피어슨 상관계수, 정확도, UAS/LAS, EM, ROUGE-W, 공동 목표 정확도).
• 한국어 PLM(KLUE-BERT, KLUE-RoBERTa, KoELECTRA 등)을 기반으로 한 강력한 베이스라인을 제안하고 미세조정 구성을 보고한다.

실험 결과

연구 질문

• RQ1 번역 아티팩트 없이 처음부터 다양한 오픈 한국어 NLU 벤치마크를 구축할 수 있을까?
• RQ2 KLUE 작업에서 한국어 특화 PLM의 베이스라인 성능은 어떨까?
• RQ3 사전 학습 데이터에서 PII를 제거하는 것이 다운스트림 NLU 성능에 어떤 영향을 미치는가?
• RQ4 한국어 형태소를 다루는 데 어떤 토크나이제이션 및 프리토크나이제이션 전략이 가장 효과적인가?
• RQ5 고품질의 편향 없는 한국어 NLU 주석을 얻기 위한 윤리적 보호장치와 주석 절차는 무엇인가?

주요 결과

• KLUE-RoBERTa_LARGE가 다른 베이스라인을 능가하며, 다국어 PLM과 오픈 소스 한국어 PLM을 포함한 모든 작업에서 우수하다.
• KOELECTRA_BASE는 작은 모델 중에서 STS와 NLI 작업에서 뛰어나며, KLUE-BERT는 특정 구성에서 TC와 WoS 작업을 지배한다.
• KLUE-RoBERTa_LARGE는 모델 크기가 커질수록 일반적으로 다른 모델을 능가하지만 NER에서는 예외가 있다.
• 사전 학습 데이터에서 PII 제거가 다운스트림 작업 성능 저하에 미미한 영향을 보인다.
• 형태소 기반 서브워드 토크나이제이션과 형태소 수준 프리토크나이제이션의 조합은 형태소 수준 태깅, 탐지 및 생성에 효과적이다.
• KLUE는 다른 언어의 향후 자원 개발을 가능하게 하는 포괄적 작업 문서를 제공한다.