[论文解读] KR-BERT: A Small-Scale Korean-Specific Language Model

Sangah Lee, Hansol Jang+3 more|arXiv (Cornell University)|Aug 10, 2020

Topic Modeling参考文献 12被引用 23

一句话总结

KR-BERT 是一种小型、专为韩语设计的 BERT 模型，采用子字符级词汇表和一种新型双向 WordPiece 分词器，能够有效捕捉韩语这种形态丰富的语言特征。尽管仅使用了多语言 BERT 所需数据的 1/10 进行训练，其在情感分析、命名实体识别（NER）和问答任务上的表现仍优于多语言 BERT，并与其它韩语模型相当或更优，尤其在处理 OOV（未登录词）方面表现出色。

ABSTRACT

Since the appearance of BERT, recent works including XLNet and RoBERTa utilize sentence embedding models pre-trained by large corpora and a large number of parameters. Because such models have large hardware and a huge amount of data, they take a long time to pre-train. Therefore it is important to attempt to make smaller models that perform comparatively. In this paper, we trained a Korean-specific model KR-BERT, utilizing a smaller vocabulary and dataset. Since Korean is one of the morphologically rich languages with poor resources using non-Latin alphabets, it is also important to capture language-specific linguistic phenomena that the Multilingual BERT model missed. We tested several tokenizers including our BidirectionalWordPiece Tokenizer and adjusted the minimal span of tokens for tokenization ranging from sub-character level to character-level to construct a better vocabulary for our model. With those adjustments, our KR-BERT model performed comparably and even better than other existing pre-trained models using a corpus about 1/10 of the size.

研究动机与目标

• 开发一种轻量级、高性能的韩语专用语言模型，以克服多语言 BERT 在处理形态丰富、非拉丁字母脚本时的局限性。
• 通过定制化的分词器和子字符级表示方法，应对韩语黏着性形态和复杂书写系统（韩文）带来的挑战。
• 在远少于 RoBERTa 或 XLNet 等大规模模型的训练数据下，实现与小型模型相当的性能。
• 评估子字符级分词和双向 WordPiece 方法在提升 OOV（未登录词）处理能力和形态泛化能力方面的有效性。

提出的方法

• 提出一种双向 WordPiece 分词器，在子词分割过程中同时考虑左右上下文，从而提升韩语中的形态表示能力。
• 采用子字符单元（如音位字母）作为最小分词单位构建词汇表，减少罕见或未知词的数量。
• 在约 1.5GB 的精选韩语语料上从零开始训练 KR-BERT，训练数据量约为多语言 BERT 的 1/10。
• 使用掩码语言建模（MLM）和下一句预测（NSP）作为预训练目标，与 BERT 类似，但针对韩语语言结构进行了调整。
• 对比多种分词策略：字符级、词素级和子字符级，以及在 WordPiece 中是否引入双向上下文。
• 应用词汇表剪枝和最小跨度调整，以在覆盖度和子词粒度之间取得平衡，优化形态丰富性。

实验结果

研究问题

• RQ1 小型、专为韩语设计的 BERT 模型是否能在下游韩语 NLP 任务上达到与更大规模的多语言或多语言模型相当的性能？
• RQ2 子字符级分词在处理形态复杂、资源有限的语言（如韩语）时，是否能显著提升性能？
• RQ3 与标准 WordPiece 或 SentencePiece 相比，双向 WordPiece 分词器是否能更有效地捕捉韩语的形态单元并减少 [UNK] 令牌？
• RQ4 当结合语言特定的分词策略时，使用更小的训练语料（多语言 BERT 的 1/10）在多大程度上影响模型性能？
• RQ5 在真实、嘈杂的数据集（如 NSMC 和 KorNER）中，不同分词策略对 OOV（未登录词）处理能力有何影响？

主要发现

• KR-BERT 在所有四项下游任务（情感分析、NER、问答和释义检测）中均优于多语言 BERT，其中在 KorNER 和 KorQuAD 上分别提升了 7%。
• KR-BERT 的子字符级双向 WordPiece 模型在 NER 任务上取得了最高的 F1 分数（87.6），并在各项任务中表现出最佳一致性，尤其在含有大量未登录词的嘈杂数据上。
• 该子字符级双向 WordPiece 模型的 [UNK] 比例降低至 0.00015，显著低于多语言 BERT 的 1.024%，表明其在 OOV 处理方面具有显著优势。
• 在 NSMC 情感分析数据集上，双向 WordPiece 模型能正确将非标准形式如 'caymisnunteyng' 分词为 'caymi#s#nuntey#ng'，有效保留了语义单元。
• KR-BERT 中的字符级 WordPiece 模型在释义检测任务上取得了最高准确率，仅次于 KorBERT，位居第二。
• 尽管仅使用约 1.5GB 的训练数据（仅为多语言 BERT 的 1/10），KR-BERT 的性能仍与 KorBERT 和 KoBERT 等更大模型相当或更优，展现出卓越的效率与有效性。