[论文解读] Learning Chinese Word Representations From Glyphs Of Characters

Tzu-Ray Su, Hung-yi Lee|arXiv (Cornell University)|Aug 16, 2017

Natural Language Processing Techniques参考文献 21被引用 21

一句话总结

本文提出通过利用汉字字形作为视觉特征，使用卷积自编码器（convAE）从汉字位图中提取结构模式，来学习中文词语表征。该方法增强了基于字形嵌入的词语表征，在与家庭相关的词语类比任务中表现显著提升，但在其他语义评估任务中增益有限。

ABSTRACT

In this paper, we propose new methods to learn Chinese word representations. Chinese characters are composed of graphical components, which carry rich semantics. It is common for a Chinese learner to comprehend the meaning of a word from these graphical components. As a result, we propose models that enhance word representations by character glyphs. The character glyph features are directly learned from the bitmaps of characters by convolutional auto-encoder(convAE), and the glyph features improve Chinese word representations which are already enhanced by character embeddings. Another contribution in this paper is that we created several evaluation datasets in traditional Chinese and made them public.

研究动机与目标

• 通过将汉字视为图像，利用其视觉特征来改进中文词语表征。
• 探究除部首之外的图形成分是否对中文词语表征学习具有实质性贡献。
• 创建并发布新的繁体中文评估数据集，用于基准测试词语表征模型。
• 探索直接从字形特征序列训练词语表征的可行性，使用RNN模型。
• 评估字形特征对下游NLP任务（如词语类比、相似性、分类）的影响。

提出的方法

• 将汉字渲染为固定尺寸的灰度位图，以表示其视觉结构。
• 在汉字位图上训练卷积自编码器（convAE），以学习紧凑且语义有意义的字形特征。
• 通过融合学习到的字形特征，增强预训练的基于字形嵌入的词语表征（CWE）。
• 提出一种变体模型（GWE），通过Skipgram或GloVe风格的训练方式，直接从字形特征序列学习词语表征。
• 使用基于RNN的架构从字形特征序列学习词语表征，但结果表现不佳。
• 应用加权函数和损失最小化（如GloVe风格）以优化基于共现统计的词语表征学习。

实验结果

研究问题

• RQ1 除了部首之外，汉字字形是否能有效提升中文词语表征学习？
• RQ2 与标准字形嵌入相比，从汉字位图中提取的字形特征在增强词语表征方面有多有效？
• RQ3 直接从字形特征序列训练词语表征是否优于将其作为增强手段？
• RQ4 在哪些类型的语义任务中（如词语类比、相似性）字形特征能带来可测量的性能提升？
• RQ5 为何基于RNN的模型在字形特征上训练时无法生成有效的词语表征？

主要发现

• 通过convAE提取的字形特征在家庭关系词语类比任务中显著提升了词语表征性能，GWE模型优于CWE模型。
• 在SimLex-999数据集上，GWE模型对语义相关词对（如“伶俐”与“聪明”）的相似度评分高于CBOW或CWE，表明其具备更强的语义捕捉能力。
• 在非组合性词语（如城市名和首都名）上改进有限，表明字形特征在字形构成影响语义时最为有效。
• 基于RNN的模型在字形特征上训练后未能生成有意义的表征，性能甚至低于CBOW，且不具备向量运算能力。
• 反例（如“山峰”与“蜂蜜”）表明，共享组件（如“夆”）可能导致虚假的相似度评分，提示模型可能过度拟合于视觉模式。
• 结果表明，在词语表征学习中，大规模语料中的共现统计可能主导字形特征的作用，尽管视觉特征在组合性语境中仍具价值。