[论文解读] Learning Better Internal Structure of Words for Sequence Labeling

Yingwei Xin, Ethan Hart+2 more|arXiv (Cornell University)|Oct 29, 2018

Topic Modeling参考文献 23被引用 8

一句话总结

本文提出 IntNet，一种无下采样的漏斗形宽卷积神经网络，通过字符级表征学习更丰富的内部词结构。与浅层或深层窄架构相比，IntNet 更有效地捕捉多尺度子词模式，在序列标注任务中实现最先进性能——在荷兰语和西班牙语的 OOV 词上 F1 分数提升超过 2%，且无需外部资源或手工特征。

ABSTRACT

Character-based neural models have recently proven very useful for many NLP tasks. However, there is a gap of sophistication between methods for learning representations of sentences and words. While most character models for learning representations of sentences are deep and complex, models for learning representations of words are shallow and simple. Also, in spite of considerable research on learning character embeddings, it is still not clear which kind of architecture is the best for capturing character-to-word representations. To address these questions, we first investigate the gaps between methods for learning word and sentence representations. We conduct detailed experiments and comparisons of different state-of-the-art convolutional models, and also investigate the advantages and disadvantages of their constituents. Furthermore, we propose IntNet, a funnel-shaped wide convolutional neural architecture with no down-sampling for learning representations of the internal structure of words by composing their characters from limited, supervised training corpora. We evaluate our proposed model on six sequence labeling datasets, including named entity recognition, part-of-speech tagging, and syntactic chunking. Our in-depth analysis shows that IntNet significantly outperforms other character embedding models and obtains new state-of-the-art performance without relying on any external knowledge or resources.

研究动机与目标

• 探究基于字符的 CNN 模型在词表示与句子表示之间的差距，后者通常更深更复杂。
• 识别为何当前基于字符的词模型相较于句子级模型更简单、不那么复杂，尽管目标相似。
• 评估最先进字符嵌入模型在序列标注任务中的性能差异。
• 确定最优神经架构——深层 vs. 浅层，宽模型 vs. 窄模型——以从字符中捕捉内部词结构。
• 开发一种字符级模型，在不依赖外部资源或特征工程的前提下，提升罕见词和未登录词（OOV）的性能。

提出的方法

• 提出 IntNet，一种无下采样的漏斗形宽卷积神经网络，使用多种卷积核大小，并在不同层级拼接特征，以保留序列模式。
• 采用多尺度卷积架构，通过宽感受野有效捕捉不同长度的子词模式（如词缀、词干等）。
• 将 IntNet 与 LSTM-CRF 层结合，联合建模上下文词级表示并预测序列标签。
• 训练过程中使用早停策略以防止过拟合，尤其在标注语料有限的情况下。
• 不进行任何字符级预处理，不使用外部知识或手工特征，仅依赖原始字符序列。
• 在标准序列标注数据集上端到端训练模型，使用交叉熵损失和反向传播。

实验结果

研究问题

• RQ1 为何基于字符的词模型与句子模型在架构复杂度上存在差异？这一差距如何弥合？
• RQ2 最先进字符嵌入模型（如 char-CNN、char-LSTM）在学习词级表示方面的性能表现如何比较？
• RQ3 是深层窄架构还是浅层宽架构更适合从字符中学习内部词结构？
• RQ4 省略下采样操作是否能改善对词中前缀、后缀等序列模式的建模？
• RQ5 字符级模型能否在不依赖外部知识、手工特征或联合训练的情况下实现最先进性能？

主要发现

• IntNet 在全部六个序列标注数据集（包括 NER、POS 标注和句法短语切分）上显著优于 char-CNN 和 char-LSTM。
• 在 OOV 词上，IntNet 相较基线模型在荷兰语和德语数据集上将 F1 分数提升超过 3%，表明其对罕见词和未见词具有强大的泛化能力。
• 对于荷兰语和西班牙语等非英语数据集，IntNet 的 F1 分数相比之前最先进方法提升超过 2%，凸显其在多语言环境下的鲁棒性。
• IntNet 收敛速度慢于 char-CNN 和 char-LSTM，表明其学习了更复杂的表示，但通过早停策略有效缓解了过拟合。
• 通过最近邻分析显示，该模型在 OOV 设置下能更好地学习词形模式（如 '11-month' 与 'xx-month' 的区别）。
• 尽管训练速度比 char-CNN 慢约 20%，IntNet 保持了相似的推理速度，且参数量少于句子级模型，因此在序列标注任务中具有高效性。