[論文レビュー] KLUE: Korean Language Understanding Evaluation

Sungjoon Park, Jihyung Moon+29 more|arXiv (Cornell University)|May 20, 2021

Topic Modeling参考文献 145被引用数 78

ひとこと要約

KLUEは多様で入手しやすいコーパスと倫理的注釈プロトコルを用いて、一から構築した韓国語NLPタスクを8つ導入します。ベースラインモデルは韓国語特有のPLMが優れていることを示し、PIIの除去は影響が小さく、語素レベルのトークン化が語素感受性のあるタスクで有効です。

ABSTRACT

We introduce Korean Language Understanding Evaluation (KLUE) benchmark. KLUE is a collection of 8 Korean natural language understanding (NLU) tasks, including Topic Classification, SemanticTextual Similarity, Natural Language Inference, Named Entity Recognition, Relation Extraction, Dependency Parsing, Machine Reading Comprehension, and Dialogue State Tracking. We build all of the tasks from scratch from diverse source corpora while respecting copyrights, to ensure accessibility for anyone without any restrictions. With ethical considerations in mind, we carefully design annotation protocols. Along with the benchmark tasks and data, we provide suitable evaluation metrics and fine-tuning recipes for pretrained language models for each task. We furthermore release the pretrained language models (PLM), KLUE-BERT and KLUE-RoBERTa, to help reproducing baseline models on KLUE and thereby facilitate future research. We make a few interesting observations from the preliminary experiments using the proposed KLUE benchmark suite, already demonstrating the usefulness of this new benchmark suite. First, we find KLUE-RoBERTa-large outperforms other baselines, including multilingual PLMs and existing open-source Korean PLMs. Second, we see minimal degradation in performance even when we replace personally identifiable information from the pretraining corpus, suggesting that privacy and NLU capability are not at odds with each other. Lastly, we find that using BPE tokenization in combination with morpheme-level pre-tokenization is effective in tasks involving morpheme-level tagging, detection and generation. In addition to accelerating Korean NLP research, our comprehensive documentation on creating KLUE will facilitate creating similar resources for other languages in the future. KLUE is available at https://klue-benchmark.com.

研究の動機と目的

• 正式な文章と口語的テキストの両方にわたり、多様な韓国語NLPの側面を網羅する。
• 自由に再配布可能なコーパスと寛容なライセンスを使用してアクセス可能性を確保する。
• 偏りとプライバシー問題を緩和するために、正確であいまいさのない注釈プロトコルを設計する。
• 各タスクに対する評価指標と事前学習言語モデルのファインチューニング手法を提供する。
• 再現性と今後の研究を促進するためにKLUEのベースラインモデルを公開する。

提案手法

• 様々な言語現象を網羅するため、八つのNLPタスク（TC、STS、NLI、NER、RE、DP、MRC、DST）を選択する。
• オープンライセンスの ten source corpora からタスク別データセットを構築し、品質と倫理を基準にフィルタリングする。
• 韓国語文分割器(Korean Sentence Splitter)とノイズ、毒性、PIIの自動フィルターでデータを前処理する。
• 韓国語の形態論と構文を反映するため、韓国語中心のガイドラインで注釈を行う。
• 各タスクに適した評価指標を定義する（例：macro F1, Pearson, accuracy, UAS/LAS, EM, ROUGE-W, joint goal accuracy）。
• 韓国語PLM（KLUE-BERT、KLUE-RoBERTa、KoELECTRA など）に基づく強力なベースラインを提案・公開し、ファインチューニング設定を報告する。

実験結果

リサーチクエスチョン

• RQ1 翻訳アーティファクトを避けるために、多様でオープンな韓国語NLPベンチマークをゼロからどう構築できるか？
• RQ2 KLUEタスク上で韓国語特有のPLMsのベースライン性能はどの程度か。
• RQ3 事前学習データからPIIを除去することは、タスク全体で下流NLP性能にどのような影響を与えるか？
• RQ4 NLUタスクにおける韓国語形態素を最も適切に扱うトークナイゼーションおよびプリトークナイゼーション戦略はどれか？
• RQ5 高品質で偏りの少ない韓国語NLP注釈を生む倫理的な安全策と注釈手順は何か？

主な発見

• KLUE-RoBERTa_LARGE は、マルチリンガル PLMs やオープンソースの韓国語 PLMs を含む他のベースラインをタスク全体で上回る。
• KOELECTRA_BASE は小型モデルの中でSTSとNLIタスクで優れ、KLUE-BERT は特定の設定でTCとWoSタスクを支配する。
• KLUE-RoBERTa_LARGE はサイズが大きくなるにつれて一般に他のモデルを上回るが、NERでいくつか例外がある。
• 事前学習データからPIIを除去しても下流タスクの性能低下は最小限である。
• 語素ベースのサブワードトークン化と語素レベルのプリトークナイズを組み合わせることは、語素レベルのタグ付け、検出、生成に有効である。
• KLUEは他言語の将来の言語資源作成を可能にする包括的なタスク文書を提供する。