[论文解读] Chinese Embedding via Stroke and Glyph Information: A Dual-channel View

Hanqing Tao, Shiwei Tong+3 more|arXiv (Cornell University)|Jun 3, 2019

Topic Modeling参考文献 27被引用 7

一句话总结

本文提出了一种双通道词嵌入（DWE）模型，通过联合学习汉字的序列笔画n-gram特征与空间字形结构，以提升词表示性能。通过建模笔顺顺序与二维字形配置，DWE在中文词语相似度与类比任务上达到最先进性能，证明了汉字中的形态信息能显著增强语义建模能力。

ABSTRACT

Recent studies have consistently given positive hints that morphology is helpful in enriching word embeddings. In this paper, we argue that Chinese word embeddings can be substantially enriched by the morphological information hidden in characters which is reflected not only in strokes order sequentially, but also in character glyphs spatially. Then, we propose a novel Dual-channel Word Embedding (DWE) model to realize the joint learning of sequential and spatial information of characters. Through the evaluation on both word similarity and word analogy tasks, our model shows its rationality and superiority in modelling the morphology of Chinese.

研究动机与目标

• 通过同时利用序列笔画模式与空间字形配置，解决中文词嵌入中形态信息利用不足的问题。
• 通过将汉字建模为有序笔画序列与二维空间结构，改进中文词表示学习。
• 验证对笔顺与字形形状的双通道建模可增强中文词嵌入中的语义捕捉能力。
• 通过整合结构化形态信息，提升下游NLP任务（如词语相似度与词语类比）的性能。

提出的方法

• DWE模型采用双通道架构：一个分支处理字符级别的笔画n-gram（长度为3–6）作为序列特征，另一个分支将字符字形编码为28×28的1位灰度位图作为空间特征。
• 从每个字符的笔顺中提取笔画n-gram，将其视为类似于英文词素的子词单元。
• 使用Pillow库将字符字形渲染为1位灰度位图，以保留空间布局，便于卷积处理。
• 在最终生成词嵌入前，通过拼接或逐元素运算融合两条路径，实现序列与空间形态的联合学习。
• 模型采用skip-gram框架与负采样进行训练，使用AdaGrad优化，批量大小为4,096，初始学习率为0.05。
• 词嵌入初始化为字符级表示，并在大规模中文语料上进行端到端微调。

实验结果

研究问题

• RQ1 同时建模笔顺顺序与空间字形结构是否能提升中文词嵌入性能？
• RQ2 对序列与空间形态特征的联合学习如何影响词语相似度与类比任务的性能表现？
• RQ3 笔画n-gram与字形特征在多大程度上能捕捉中文词语间的语义关系？
• RQ4 DWE模型是否优于仅使用部首、字符或字形特征的现有方法？

主要发现

• DWE模型在wordsim-240与wordsim-296数据集上均取得最高的Spearman等级相关系数（ρ），证实其在词语相似度建模方面的优越性。
• 在词语类比任务中，DWE在家庭关系组表现显著提升，该组中形态构成特征（如共享字形部件）明显可见。
• 在国家/首都/州组中改进有限，此类词语多为音译词，缺乏形态结构，验证了模型对形态线索的敏感性。
• 结果表明，具有共享笔画序列或字形部分的形态相关中文词语，能被DWE更准确地捕捉，优于基线模型。
• 双通道设计有效捕捉了序列与空间形态信息，生成更具可解释性与语义丰富度的词嵌入表示。