[论文解读] Chinese Word Segmentation with Heterogeneous Graph Neural Network

Xuemei Tang, Jun Wang+1 more|arXiv (Cornell University)|Jan 22, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文提出HGNSeg，一种异构图神经网络框架，将多层次语言特征——字符、词语、n-gram及依存句法——整合到统一图结构中，以提升中文分词性能。通过利用预训练语言模型并以异构图学习方式结构化外部知识，HGNSeg在六个基准数据集上达到最先进性能，并显著降低OOV（词汇表外）错误率，尤其在跨领域设置下表现突出。

ABSTRACT

In recent years, deep learning has achieved significant success in the Chinese word segmentation (CWS) task. Most of these methods improve the performance of CWS by leveraging external information, e.g., words, sub-words, syntax. However, existing approaches fail to effectively integrate the multi-level linguistic information and also ignore the structural feature of the external information. Therefore, in this paper, we proposed a framework to improve CWS, named HGNSeg. It exploits multi-level external information sufficiently with the pre-trained language model and heterogeneous graph neural network. The experimental results on six benchmark datasets (e.g., Bakeoff 2005, Bakeoff 2008) validate that our approach can effectively improve the performance of Chinese word segmentation. Importantly, in cross-domain scenarios, our method also shows a strong ability to alleviate the out-of-vocabulary (OOV) problem.

研究动机与目标

• 解决现有中文分词方法在有效整合多层次语言信息与结构依赖方面的局限性。
• 通过将字符、词语、n-gram及依存句法建模为图中异构节点，提升中文分词性能。
• 通过增强语言表征，减少跨领域分词场景下的词汇表外（OOV）问题。
• 开发一种新框架，显式利用图神经网络编码来自外部语言资源的结构信息。

提出的方法

• 构建异构图，其中节点代表字符、分词结果、n-gram及句法依赖，每种语言层次对应不同的节点类型。
• 建立多种边类型：基于位置对齐关系的字符-词语/n-gram边，以及基于解析工具生成的主语-宾语关系的依存句法边。
• 使用异构图神经网络（HGNN）在不同节点类型与边类型间聚合邻域信息，通过消息传递机制更新节点表征。
• 将预训练语言模型的嵌入作为初始节点特征，以增强上下文表征能力。
• 联合优化序列标注损失以进行中文分词，目标为最大化F1分数与OOV召回率。
• 在六个基准数据集（如Bakeoff 2005、2008）上评估模型，并通过消融实验分析各子图结构的贡献。

实验结果

研究问题

• RQ1 异构图神经网络能否有效整合多层次语言特征（如字符、词语、n-gram、句法）以提升中文分词性能？
• RQ2 与仅使用表层特征的模型相比，引入依存句法结构在提升分词准确率与OOV处理能力方面有何改进？
• RQ3 所提出的框架在跨领域中文分词场景中，能在多大程度上降低OOV错误率？
• RQ4 不同词典（基于训练集的词典 vs. 高频n-gram词典）以及句法解析工具（LTP 4.0 vs. Stanford CoreNLP）对模型性能有何影响？

主要发现

• HGNSeg在六个基准中文分词数据集上均达到最先进性能，F1分数持续优于先前方法。
• 字符-词语/n-gram子图对性能贡献最大，在PKU数据集上F1提升达3%，在MSR数据集上提升1.62%。
• 依存句法子图同时提升F1与OOV召回率，但其影响程度弱于字符-词语/n-gram子图。
• 在跨领域设置下，模型通过利用领域特定n-gram显著降低OOV错误，平均OOV召回率从78.80%提升至80.67%。
• 在本框架中，LTP 4.0作为句法解析器优于Stanford CoreNLP，所有数据集上的CWS F1分数均更优。
• 结合基于训练集的词典与高频n-gram词典可获得最佳性能，OOV召回率在SXU数据集达86.10%，在CITYU数据集达91.99%。