[论文解读] ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

Zijun Sun, Xiaoya Li+6 more|arXiv (Cornell University)|Jun 30, 2021

Natural Language Processing Techniques参考文献 50被引用 8

一句话总结

ChineseBERT 通过在 BERT 风格的预训练中整合字形和拼音嵌入，增强了中文语言表征，通过视觉字符形式和发音消歧提升语义建模。它在多个中文 NLP 任务上实现了新的 SOTA 结果，且训练步数更少、数据量更小，证明了多模态字符级信号在预训练中的有效性。

ABSTRACT

Recent pretraining models in Chinese neglect two important aspects specific to the Chinese language: glyph and pinyin, which carry significant syntax and semantic information for language understanding. In this work, we propose ChineseBERT, which incorporates both the {\it glyph} and {\it pinyin} information of Chinese characters into language model pretraining. The glyph embedding is obtained based on different fonts of a Chinese character, being able to capture character semantics from the visual features, and the pinyin embedding characterizes the pronunciation of Chinese characters, which handles the highly prevalent heteronym phenomenon in Chinese (the same character has different pronunciations with different meanings). Pretrained on large-scale unlabeled Chinese corpus, the proposed ChineseBERT model yields significant performance boost over baseline models with fewer training steps. The porpsoed model achieves new SOTA performances on a wide range of Chinese NLP tasks, including machine reading comprehension, natural language inference, text classification, sentence pair matching, and competitive performances in named entity recognition. Code and pretrained models are publicly available at https://github.com/ShannonAI/ChineseBert.

研究动机与目标

• 为了解决现有中文预训练模型中缺乏字形和拼音信息的问题，该问题限制了语义和句法建模能力。
• 通过将汉字的视觉（字形）和语音（拼音）特征融入预训练过程，提升中文语言理解能力。
• 通过利用结构和语音信号作为正则化手段，减少对大规模标注数据的依赖。
• 在更少的训练步数和更少的数据下，实现在多样化中文 NLP 任务上的优越性能。

提出的方法

• 引入源自不同字体风格的汉字字形嵌入，以捕捉视觉语义线索。
• 引入拼音嵌入以消歧同音字和异形同音字，解决多音字歧义问题。
• 将字形、拼音和字符 ID 嵌入融合为每个标记的统一上下文表征。
• 使用掩码语言建模和下一句预测任务，在大规模未标注中文语料上进行模型预训练。
• 采用多分支架构，联合学习字符形态、发音和身份信息。
• 在下游任务（包括文本分类、自然语言推理、机器阅读理解及序列标注）上对预训练模型进行微调。

实验结果

研究问题

• RQ1 在预训练中整合字形和拼音信息是否能提升中文语言模型在下游任务上的表现？
• RQ2 字形和拼音嵌入在中文多音字消歧中分别起到何种作用？
• RQ3 视觉和语音特征的引入是否起到正则化作用，从而在更少训练数据下实现更好性能？
• RQ4 ChineseBERT 在多样化的中文 NLP 基准上与 RoBERTa 和 BERT-wwm 相比表现如何？

主要发现

• ChineseBERT 在机器阅读理解、自然语言推理、文本分类和句子对匹配任务上均达到新的 SOTA 表现。
• 在 MSRA 和 PKU 词性切分数据集上，大型版本的 ChineseBERT 在 MSRA 上取得 98.67 F1 和 98.01 准确率，在 PKU 上取得 97.16 F1 和 98.01 准确率。
• 在命名实体识别任务中，ChineseBERT 在 OntoNotes 4.0 上取得 81.65 F1，比 RoBERTa 提高 1.28 个百分点。
• 消融实验表明，若移除字形或拼音嵌入，F1 分数将下降 1.17–1.52，证实二者在单独及联合使用时的重要性。
• 当训练数据少于 30% 时，性能提升较小；但当数据超过 30% 时，性能增益显著，表明模型具有数据效率优势。
• 在所有评估任务中，ChineseBERT 的表现均优于 RoBERTa 和 BERT-wwm，即使在更少数据和更少训练轮次下也保持优势。