[论文解读] Attending to Characters in Neural Sequence Labeling Models

Marek Rei, Gamal Crichton+1 more|arXiv (Cornell University)|Nov 14, 2016

Topic Modeling参考文献 23被引用 67

一句话总结

本文提出一种基于注意力机制的神经网络架构，通过动态融合词嵌入与字符级表征，提升序列标注模型在罕见词和未登录词（OOV）上的性能。该方法在8个不同数据集上均取得当前最优结果，且参数量少于基线模型。

ABSTRACT

Sequence labeling architectures use word embeddings for capturing similarity, but suffer when handling previously unseen or rare words. We investigate character-level extensions to such models and propose a novel architecture for combining alternative word representations. By using an attention mechanism, the model is able to dynamically decide how much information to use from a word- or character-level component. We evaluated different architectures on a range of sequence labeling datasets, and character-level extensions were found to improve performance on every benchmark. In addition, the proposed attention-based architecture delivered the best results even with a smaller number of trainable parameters.

研究动机与目标

• 解决词嵌入在序列标注任务中处理罕见词和未登录词（OOV）时的局限性。
• 通过字符级表征捕捉词形模式，提升模型泛化能力。
• 开发一种动态融合机制，智能结合词级与字符级特征。
• 在保持或提升模型性能的同时，减少可训练参数量。
• 在包括命名实体识别（NER）、词性标注和错误检测在内的多样化序列标注基准上评估所提出架构。

提出的方法

• 双向LSTM处理词嵌入，生成上下文感知表征，随后通过一个窄全连接层提炼关键特征。
• 独立的双向LSTM处理每个词的单个字符，生成字符级表征。
• 注意力机制计算动态权重，对每个标记的词嵌入与字符级表征进行组合。
• 字符级组件采用新型目标函数进行训练，以模仿现有词嵌入，提升对齐效果与泛化能力。
• 最终预测层使用softmax或条件随机场（CRF）建模标签序列，其中CRF确保跨标记的标签一致性。
• 模型使用分类交叉熵损失进行训练，超参数在开发集上进行调优。

实验结果

研究问题

• RQ1 字符级表征能否提升序列标注在罕见词和未见词上的性能？
• RQ2 基于注意力机制的词与字符表征动态融合是否优于固定拼接方式？
• RQ3 通过模仿词嵌入方式训练的字符级组件能否提升整体模型泛化能力？
• RQ4 所提出的架构是否在参数量更少的情况下仍优于现有模型？
• RQ5 该注意力机制模型在多样化序列标注任务与领域中是否具备强鲁棒性？

主要发现

• 字符级扩展在所评估的8个序列标注基准上均取得性能提升，包括命名实体识别（NER）、词性标注、短语切分和错误检测。
• 基于注意力机制的融合模型在所有数据集上均取得最佳结果，优于仅使用词嵌入和拼接式字符模型的基线。
• 注意力模型所需的可训练参数量少于基线的仅词嵌入模型，证明了更高的参数效率。
• 采用模仿目标函数训练的字符级组件显著提升了表征质量，尤其在罕见词和未登录词上表现突出。
• 模型在多样化领域中均表现出一致的性能增益，表明其具备强大的泛化能力与任务无关性。
• 注意力机制实现了信息源的动态选择，使模型能自适应地在需要时使用字符级特征。