[论文解读] A General-Purpose Tagger with Convolutional Neural Networks

Xiang Yu, Agnieszka Faleńska+1 more|arXiv (Cornell University)|Jun 6, 2017

Natural Language Processing Techniques参考文献 11被引用 6

一句话总结

该论文提出了一种基于双卷积神经网络（CNN）的通用标注器：一个用于字符级词表示组合，另一个用于上下文编码。该模型在词性标注、词形变化和超标注任务中均达到最先进性能，对未登录词和非标准化词汇具有更强的鲁棒性——在噪声文本条件下，显著优于基于LSTM和CRF的基线模型。

ABSTRACT

We present a general-purpose tagger based on convolutional neural networks (CNN), used for both composing word vectors and encoding context information. The CNN tagger is robust across different tagging tasks: without task-specific tuning of hyper-parameters, it achieves state-of-the-art results in part-of-speech tagging, morphological tagging and supertagging. The CNN tagger is also robust against the out-of-vocabulary problem, it performs well on artificially unnormalized texts.

研究动机与目标

• 开发一种通用序列标注模型，在无需任务特定超参数调优的情况下，对多种标注任务均表现良好。
• 通过CNN进行字符级组合，缓解自然语言处理中的未登录词（OOV）问题。
• 评估模型在社交媒体和非正式语言中常见的非标准化或拼写错误文本下的鲁棒性。
• 比较基于CNN的字符组合与基于LSTM的方法在低资源和噪声输入下的性能与稳定性。
• 建立一个统一架构的强基线模型，实现跨语言和标注集的泛化能力。

提出的方法

• 使用具有多种卷积核大小（3, 5, 7, 9）的字符级CNN，并结合最大池化操作，从字符n-gram生成词表示。
• 在训练过程中，对组合后的字符级向量添加高斯噪声（σ = 0.1），以提升泛化能力。
• 采用上下文编码CNN，处理15词窗口（目标词前后各7个词），通过四个堆叠的卷积核（大小为2–5）捕捉长距离依赖关系。
• 通过在每个词表示中拼接二值目标指示符和可学习的位置嵌入，增强上下文建模能力。
• 将词嵌入（w）和字符组合向量（c）作为上下文编码器的输入，采用其拼接（w + c）形式以获得最佳性能。
• 使用平均SGD进行端到端训练，L2正则化（10−5）、Dropout（0.1），并在最终分类层前的512维隐层中使用ReLU激活函数。

实验结果

研究问题

• RQ1 单一基于CNN的架构是否能在无需任务特定超参数调优的情况下，在多个标注任务（词性标注、词形变化、超标注）中实现最先进性能？
• RQ2 基于CNN的字符组合模型在处理未登录词和非标准化词汇时，与基于LSTM的模型相比表现如何？
• RQ3 是否同时使用CNN进行字符级表示和上下文编码，能比CRF或LSTM基线模型在噪声或拼写错误文本上展现出更好的鲁棒性？
• RQ4 位置嵌入和目标指示符的引入在多大程度上改善了标注器的上下文建模能力？
• RQ5 所提出的标注器在通用依赖树库1.2版本上评估时，是否能在多种语言和词形复杂度下实现良好泛化？

主要发现

• 该CNN标注器在22个通用依赖树库1.2版本上，所有三项任务——词性标注（平均96.18%）、词形变化标注（平均93.72%）和超标注（平均91.62%）——均达到最先进准确率。
• 在词形变化标注任务中，该CNN标注器显著优于biLSTM-aux基线模型，平均提升1.5–2.5个百分点。
• 在超标注任务中，该CNN标注器大幅优于biLSTM-aux和MarMot CRF基线模型，尤其在非标准化文本上，领先优势达4.5–11.0个百分点。
• 在人工损坏（非标准化）文本上，该CNN标注器的准确率显著高于LSTM和CRF基线模型，在极端情况（100%损坏）下领先4–8个百分点。
• 该模型对插入和删除错误表现出更强鲁棒性，而CRF和LSTM模型对替换错误更敏感。
• 该标注器在多种语言间泛化良好，即使在低资源和高度屈折语言（如芬兰语、匈牙利语和捷克语）上也表现出高准确率。