[论文解读] Convolutional Neural Network with Word Embeddings for Chinese Word Segmentation

Chunqi Wang, Bo Xu|arXiv (Cornell University)|Nov 12, 2017

Natural Language Processing Techniques参考文献 45被引用 43

一句话总结

该论文提出一种基于字符的卷积神经网络（CNN）模型，结合词嵌入用于中文分词，通过堆叠的卷积层自动捕获丰富的n-gram特征，无需人工特征工程。通过整合来自大规模自动分词语料库的预训练词嵌入，该模型在PKU和MSR数据集上分别取得了96.5%和98.0%的F1分数，且未使用任何外部标注数据。

ABSTRACT

Character-based sequence labeling framework is flexible and efficient for Chinese word segmentation (CWS). Recently, many character-based neural models have been applied to CWS. While they obtain good performance, they have two obvious weaknesses. The first is that they heavily rely on manually designed bigram feature, i.e. they are not good at capturing n-gram features automatically. The second is that they make no use of full word information. For the first weakness, we propose a convolutional neural model, which is able to capture rich n-gram features without any feature engineering. For the second one, we propose an effective approach to integrate the proposed model with word embeddings. We evaluate the model on two benchmark datasets: PKU and MSR. Without any feature engineering, the model obtains competitive performance -- 95.7% on PKU and 97.3% on MSR. Armed with word embeddings, the model achieves state-of-the-art performance on both datasets -- 96.5% on PKU and 98.0% on MSR, without using any external labeled resource.

研究动机与目标

• 解决基于字符的神经网络模型在无需人工设计二元特征的情况下自动捕获n-gram特征的局限性。
• 将完整的词信息整合到传统上忽略词级语义的基于字符的模型中。
• 利用从大规模自动分词文本中提取的半监督词嵌入，提升分词性能。
• 在不依赖外部标注资源的情况下，实现出色的基准数据集性能。

提出的方法

• 使用基于字符的查找表将输入字符嵌入为稠密向量。
• 采用堆叠的一维卷积层配合门控线性单元（GLU），从字符序列中学习上下文表示。
• 在CNN输出之上应用CRF层进行序列级标注，确保字符间标签的一致性。
• 提出一种新方法，通过将词作为额外输入特征，将预训练词嵌入融入基于字符的模型中。
• 从大规模自动分词文本中学习词嵌入，实现在无外部标注数据情况下的半监督学习。
• 采用联合训练策略，在端到端的分词模型训练过程中对词嵌入进行微调。

实验结果

研究问题

• RQ1 基于CNN的模型是否能在中文分词中无需显式二元特征工程的情况下自动学习丰富的n-gram特征？
• RQ2 来自自动分词数据的词嵌入在基于字符的CWS系统中能否有效提升性能？
• RQ3 将词级信息整合到基于字符的模型中是否能带来显著的性能提升？
• RQ4 所提出的模型是否能在不使用任何外部标注训练数据的情况下实现SOTA结果？

主要发现

• 在无需任何特征工程的情况下，所提出的CNN模型在PKU数据集上达到95.7%的F1分数，在MSR数据集上达到97.3%的F1分数，优于此前未使用二元特征的基于字符的模型。
• 在整合预训练词嵌入后，模型在PKU数据集上达到96.5%的F1分数，在MSR数据集上达到98.0%的F1分数，创下新的SOTA性能记录。
• 消融实验表明，词嵌入和词典对性能提升的贡献几乎相等，其中词嵌入在PKU数据集上相较基线模型提升了0.4%。
• 该模型表明CNN能够有效自动学习n-gram特征，从而减少对手工设计特征的依赖。
• 即使在无外部标注数据的情况下，词嵌入仍带来显著性能提升，证实了半监督预训练的有效性。
• 该模型在准确率上优于现有基于字符的模型，且与基于词的模型相当或更优，同时保持了基于字符建模的灵活性。