[论文解读] Fast and Accurate Neural Word Segmentation for Chinese

Deng Cai, Hai Zhao+4 more|arXiv (Cornell University)|Apr 24, 2017

Topic Modeling参考文献 39被引用 5

一句话总结

本文提出了一种快速且准确的中文神经分词模型，采用基于字符与词嵌入平衡的贪心搜索策略，在显著降低计算成本的同时实现了最先进性能。该模型在SIGHAN Bakeoff-2005的全部四个基准测试中均优于先前的神经模型，且推理速度最高提升100倍，证明了在端到端神经分词中效率与准确率可同时优化。

ABSTRACT

Neural models with minimal feature engineering have achieved competitive performance against traditional methods for the task of Chinese word segmentation. However, both training and working procedures of the current neural models are computationally inefficient. This paper presents a greedy neural word segmenter with balanced word and character embedding inputs to alleviate the existing drawbacks. Our segmenter is truly end-to-end, capable of performing segmentation much faster and even more accurate than state-of-the-art neural models on Chinese benchmark datasets.

研究动机与目标

• 解决现有神经中文分词（CWS）模型在训练与推理过程中计算成本过高的问题。
• 在不依赖大量特征工程或复杂架构的前提下，提升分词准确率。
• 开发一种真正端到端的神经分词器，确保训练与解码阶段均保持高速。
• 证明贪心搜索可实现与束搜索相当的性能，同时大幅减少推理时间。
• 在严格封闭测试设置下评估模型，完全遵循SIGHAN Bakeoff-2005基准协议，且不使用外部语言资源。

提出的方法

• 提出一种神经评分器，通过字符级与词级嵌入的组合来评估候选词序列。
• 引入一种平衡的字符-词表示机制，通过整合两类输入提升泛化能力与OOV处理效果。
• 在训练与推理阶段均采用贪心搜索策略，替代束搜索以显著降低计算负载。
• 在最大间隔训练中采用早期更新策略，加速收敛并提升性能。
• 去除不必要的架构组件（如冗余注意力或门控机制），以简化模型并提升效率。
• 利用大规模未标注语料库预训练的字符嵌入，以增强性能，尤其在低资源场景下。

实验结果

研究问题

• RQ1 一个简单、端到端的神经模型能否在显著快于现有方法的同时，实现中文分词的最先进准确率？
• RQ2 平衡字符与词嵌入在何种程度上影响模型泛化能力，特别是对未登录词（OOV）的处理？
• RQ3 贪心搜索在神经CWS中能否实现与束搜索相当的性能，同时大幅减少推理时间？
• RQ4 早期更新策略在多大程度上改善了训练收敛速度与最终模型准确率？
• RQ5 在不使用外部语言资源的严格封闭测试条件下，纯神经模型能否在性能上匹配或超越传统最先进方法？

主要发现

• 所提模型在PKU数据集上达到95.8的F1分数，在MSR数据集上达到97.1，优于SIGHAN Bakeoff-2005基准上所有先前的神经模型。
• 在预训练条件下，模型在PKU数据集上达到95.8的F1，在MSR数据集上达到97.1——在相同封闭测试设置下甚至超越了最佳传统方法（如Zhao和Kit，2008c）。
• 模型将单句推理时间缩短至PKU数据集仅3ms、MSR数据集仅6ms，相比先前神经模型提速高达100倍。
• 贪心搜索（k=1）的性能与束搜索（k=10）几乎完全一致，F1仅下降0.1–0.3%，证明贪心解码足以实现高准确率。
• 直接使用词嵌入可提升词汇表内词的训练速度与性能，但损害OOV泛化能力；而平衡机制有效缓解了这一权衡。
• 早期更新策略相比标准方法或LaSO更新方法，实现了更快收敛与略优的性能。