[论文解读] KLUE: Korean Language Understanding Evaluation

Sungjoon Park, Jihyung Moon+29 more|arXiv (Cornell University)|May 20, 2021

Topic Modeling参考文献 145被引用 78

一句话总结

KLUE 引入 eight 个从头构建的韩国语 NLU 任务，采用多样、可获取的语料库和道德注释协议；基线模型显示韩国特定的 PLM 表现出色，PII 移除影响很小，且形态素级分词有助于形态素敏感的任务。

ABSTRACT

We introduce Korean Language Understanding Evaluation (KLUE) benchmark. KLUE is a collection of 8 Korean natural language understanding (NLU) tasks, including Topic Classification, SemanticTextual Similarity, Natural Language Inference, Named Entity Recognition, Relation Extraction, Dependency Parsing, Machine Reading Comprehension, and Dialogue State Tracking. We build all of the tasks from scratch from diverse source corpora while respecting copyrights, to ensure accessibility for anyone without any restrictions. With ethical considerations in mind, we carefully design annotation protocols. Along with the benchmark tasks and data, we provide suitable evaluation metrics and fine-tuning recipes for pretrained language models for each task. We furthermore release the pretrained language models (PLM), KLUE-BERT and KLUE-RoBERTa, to help reproducing baseline models on KLUE and thereby facilitate future research. We make a few interesting observations from the preliminary experiments using the proposed KLUE benchmark suite, already demonstrating the usefulness of this new benchmark suite. First, we find KLUE-RoBERTa-large outperforms other baselines, including multilingual PLMs and existing open-source Korean PLMs. Second, we see minimal degradation in performance even when we replace personally identifiable information from the pretraining corpus, suggesting that privacy and NLU capability are not at odds with each other. Lastly, we find that using BPE tokenization in combination with morpheme-level pre-tokenization is effective in tasks involving morpheme-level tagging, detection and generation. In addition to accelerating Korean NLP research, our comprehensive documentation on creating KLUE will facilitate creating similar resources for other languages in the future. KLUE is available at https://klue-benchmark.com.

研究动机与目标

• 覆盖跨正式文本和口语文本的多样化韩国语 NLU 方面。
• 通过使用可自由再发行的语料和宽松许可来确保可访问性。
• 设计精确、明确的注释协议并减轻偏见与隐私问题。
• 为每个任务提供评估指标和预训练语言模型微调方案。
• 发布 KLUE 基线模型以促进复现和未来研究。

提出的方法

• 选择 eight 个 NLU 任务（TC、STS、NLI、NER、RE、DP、MRC、DST）以覆盖多样的语言现象。
• 在开放许可下，从十个来源语料库构建任务特定数据集，并筛选质量与伦理性。
• 使用 Korean Sentence Splitter 进行数据预处理，并对噪声、有毒内容和 PII 进行自动过滤。
• 使用以韩语为中心的指南进行注释，以反映韩语的形态和句法。
• 为每个任务定义适当的评估指标（如宏观F1、Pearson、准确率、UAS/LAS、EM、ROUGE-W、联合目标准确率）。
• 提出并发布基于韩国 PLMs 的强基线（KLUE-BERT、KLUE-RoBERTa、KoELECTRA 等），并报告微调配置。

实验结果

研究问题

• RQ1 如何从零开始构建一个多样化、开放的韩国语 NLU 基准，以避免翻译伪影？
• RQ2 韩国特定 PLMs 在 KLUE 任务上的基线性能如何？
• RQ3 从预训练数据中移除 PII 如何影响跨任务的下游 NLU 性能？
• RQ4 哪些分词和预分词策略在 NLU 任务中最好地处理韩语形态学？
• RQ5 哪些伦理保护措施和注释程序能产生高质量、无偏见的韩国语 NLU 注释？

主要发现

• KLUE-RoBERTa_LARGE 在各任务上优于其他基线，包括多语言 PLMs 和开源韩语 PLMs。
• KOELECTRA_BASE 在较小模型中在 STS 和 NLI 任务上表现出色，而在某些配置中 KLUE-BERT 主导 TC 和 WoS 任务。
• KLUE-RoBERTa_LARGE 规模增大通常超过其他模型，但在 NER 任务上有一些例外。
• 从预训练数据中移除 PII 对下游任务性能的降级很小。
• 基于形态素的子词分词结合形态素级预分词对于形态素级标注、检测和生成是有效的。
• KLUE 提供全面的任务文档，以便在其他语言中实现未来的语言资源。