[论文解读] GlyphCRM: Bidirectional Encoder Representation for Chinese Character with its Glyph

Yunxin Li, Yu Zhao+6 more|arXiv (Cornell University)|Jul 1, 2021

Topic Modeling参考文献 39被引用 4

一句话总结

GlyphCRM 是一种新颖的中文预训练语言模型，它用基于字形的表征取代传统的字符嵌入，通过残差卷积神经网络（HanGlyph）从字符图像中提取空间特征，并利用跳跃连接将这些特征整合到双向 Transformer 中。该模型在 9 项下游自然语言理解任务中达到最先进性能，平均优于 BERT 1%，并在低资源和专业领域（如医学文本）中展现出强大的泛化能力。

ABSTRACT

Previous works indicate that the glyph of Chinese characters contains rich semantic information and has the potential to enhance the representation of Chinese characters. The typical method to utilize the glyph features is by incorporating them into the character embedding space. Inspired by previous methods, we innovatively propose a Chinese pre-trained representation model named as GlyphCRM, which abandons the ID-based character embedding method yet solely based on sequential character images. We render each character into a binary grayscale image and design two-channel position feature maps for it. Formally, we first design a two-layer residual convolutional neural network, namely HanGlyph to generate the initial glyph representation of Chinese characters, and subsequently adopt multiple bidirectional encoder Transformer blocks as the superstructure to capture the context-sensitive information. Meanwhile, we feed the glyph features extracted from each layer of the HanGlyph module into the underlying Transformer blocks by skip-connection method to fully exploit the glyph features of Chinese characters. As the HanGlyph module can obtain a sufficient glyph representation of any Chinese character, the long-standing out-of-vocabulary problem could be effectively solved. Extensive experimental results indicate that GlyphCRM substantially outperforms the previous BERT-based state-of-the-art model on 9 fine-tuning tasks, and it has strong transferability and generalization on specialized fields and low-resource tasks. We hope this work could spark further research beyond the realms of well-established representation of Chinese texts.

研究动机与目标

• 为解决传统中文 NLP 模型依赖静态、基于 ID 的字符嵌入所导致的缺陷，这些嵌入忽略了字符字形中丰富的语义信息。
• 探究仅使用字形表征（无需字符 ID）是否可作为中文文本的有效、上下文感知表征。
• 开发一种预训练模型，结合字形结构与上下文依赖关系，以提升迁移能力和泛化性能，特别是在低资源和专业领域。
• 通过依赖视觉字形特征而非词表查找，解决基于嵌入模型固有的未登录词（OOV）问题。

提出的方法

• 每个中文字符被渲染为二值灰度图像，并输入到两阶段残差卷积网络（HanGlyph）中，以提取分层字形表征。
• 引入双通道位置图以编码字符字形内的空间结构和相对位置信息。
• 每个 HanGlyph 模块提取的字形特征通过跳跃连接传递至底层 Transformer 模块，以保留并利用多尺度视觉特征。
• 模型采用双向 Transformer 编码器作为主干结构，以捕捉跨字符的长距离上下文依赖。
• 预训练采用与 BERT 相同的目标函数：掩码语言建模和下一句预测，但仅基于图像输入。
• 微调阶段直接在图像表征上进行，无需字符 ID 查找，从而实现端到端的下游任务适应。

实验结果

研究问题

• RQ1 是否可以构建一种仅依赖字形图像（无需字符 ID）的中文预训练语言模型，并在性能上超越基于 ID 的模型？
• RQ2 字形表征在多大程度上提升了低资源和专业 NLP 任务中的泛化能力与迁移性能？
• RQ3 仅使用字形表征是否能有效解决基于嵌入模型中常见的未登录词问题？
• RQ4 来自多层级字形特征的跳跃连接如何增强 Transformer 编码器中的上下文表征？

主要发现

• GlyphCRM 在 9 项下游中文自然语言理解任务中优于基于 BERT 的最先进模型，平均准确率提升高达 1%。
• 在医学语义匹配数据集（CMSSM）上，GlyphCRM 达到 90.84% 的测试准确率，超过 BERT 的 89.79%。
• 在低资源电商情感分析数据集上，GlyphCRM 达到 76.07% 的测试准确率，较 BERT 的 73.61% 提升 2.44 个百分点。
• 该模型在专业领域（如医学文本）中展现出强大的迁移能力，即使面对罕见和领域特异性术语，其泛化能力也优于 BERT。
• 性能提升归因于中文字符字形固有的语义丰富性，其视觉模式与词语含义存在有意义的关联。
• 由于无需字符嵌入表，所有字符均通过其视觉形式表示，无论其频率或是否曾出现过，因此彻底消除了未登录词问题。