[论文解读] Transformer-based Korean Pretrained Language Models: A Survey on Three Years of Progress

Kichang Yang|arXiv (Cornell University)|Nov 25, 2021

Natural Language Processing Techniques被引用 7

一句话总结

本综述系统比较了2018–2021年间发布的33+种韩国预训练语言模型（PLMs），在包括情感分析、命名实体识别（NER）、自然语言推理（NLI）、语义相似度（STS）、释义检测和问答在内的六个基准任务上评估其性能。研究发现KoELECTRA（Base）和KcELECTRA-base为当前最优模型，尤其在长序列和多句任务中表现优异，而蒸馏模型如DistilKoBERT在复杂推理任务中性能明显下降。

ABSTRACT

With the advent of Transformer, which was used in translation models in 2017, attention-based architectures began to attract attention. Furthermore, after the emergence of BERT, which strengthened the NLU-specific encoder part, which is a part of the Transformer, and the GPT architecture, which strengthened the NLG-specific decoder part, various methodologies, data, and models for learning the Pretrained Language Model began to appear. Furthermore, in the past three years, various Pretrained Language Models specialized for Korean have appeared. In this paper, we intend to numerically and qualitatively compare and analyze various Korean PLMs released to the public.

研究动机与目标

• 系统调查并比较2018至2021年间公开发布的基于Transformer的韩国预训练语言模型的性能。
• 分析不同韩国NLP任务中模型架构、预训练目标和微调策略的差异。
• 在NSMC、Naver NER、KorNLI、KorSTS、Question Pair和KorQuAD等标准化基准上评估模型性能。
• 识别性能趋势，包括模型规模、蒸馏技术以及预训练目标对下游任务准确率的影响。
• 突出当前最先进结果，并识别在长上下文和多句推理任务中的性能差距。

提出的方法

• 本研究评估了33+种公开可用的韩国PLMs，包括KoBERT、KcBERT、KoELECTRA、SoongsilBERT、KcELECTRA、KoBigBird和XLM-RoBERTa。
• 模型在六个标准韩国NLP任务上进行基准测试：NSMC（情感分析）、Naver NER（命名实体识别）、KorNLI（自然语言蕴含）、KorSTS（语义相似度）、Question Pair（释义检测）和KorQuAD（问答）。
• 性能通过标准指标进行衡量：NSMC和NER使用F1-score，KorNLI和Question Pair使用准确率，KorSTS使用Spearman等级相关系数，KorQuAD使用EM/F1。
• 分析涵盖模型的base和small变体，特别关注DistilKoBERT等蒸馏模型及其性能权衡。
• 本综述比较了不同预训练目标：MLM（掩码语言建模）、NSP（下一句预测）以及对抗性目标（如ELECTRA中所用）。
• 结果被汇总并分析，以识别基于架构、规模和预训练策略的模型性能趋势。

实验结果

研究问题

• RQ1 哪种韩国PLM在多样化NLP基准上表现最佳，其与多语言模型如XLM-RoBERTa相比如何？
• RQ2 蒸馏模型如DistilKoBERT在复杂、长序列任务（如NLI和问答）中的表现如何，相较于全尺寸模型？
• RQ3 预训练目标（如MLM、NSP或对抗性掩码）对韩国NLP下游任务性能有何影响？
• RQ4 为何某些模型如KcBERT和SoongsilBERT在长上下文任务中表现不佳，尽管其在短文本基准上表现良好？
• RQ5 近期模型如KoBigBird和KoELECTRA在长上下文推理任务（如问答和自然语言蕴含）中的表现如何？

主要发现

• KoELECTRA（Base）在KorNLI任务上达到82.24的准确率，在KorSTS任务上达到85.53的Spearman等级相关系数，优于KoBERT和XLM-RoBERTa。
• KcELECTRA-base在BEEP!仇恨言论分类基准上取得最高的F1分数（69.91），优于其他模型，包括KoBERT和KcBERT。
• KoBigBird在KorQuAD上取得最高的EM分数（87.08）和F1分数（94.71），表明其在长上下文问答任务中表现卓越。
• 与NSMC任务相比，DistilKoBERT在BEEP!数据集上的F1分数显著下降（超过5个百分点），表明蒸馏模型在复杂、细微分类任务中存在局限性。
• KcBERT和SoongsilBERT在多句任务（如KorNLI和KorQuAD）中表现欠佳，得分低于多语言模型XLM-RoBERTa-base，表明领域特定预训练并不总能提升长上下文推理任务的泛化能力。
• 本研究证实，对抗性掩码（如ELECTRA）和全注意力机制（如BigBird）等预训练目标显著提升了复杂推理和长序列任务的性能。