[论文解读] A New Recurrent Neural CRF for Learning Non-linear Edge Features

Shuming Ma, Xu Sun|arXiv (Cornell University)|Nov 14, 2016

Topic Modeling参考文献 24被引用 8

一句话总结

该论文提出了一种新型的循环神经网络CRF模型，通过使用LSTM编码输入词之间的依赖关系，学习非线性边特征，从而提升结构化预测性能。通过将非线性边特征整合到CRF能量函数中，该模型在NP分块（95.25% F1）、浅层分析（94.80% F1）、词性标注（97.56%准确率）以及中文分词（91.27% F1）任务中均超越了当前最先进方法。

ABSTRACT

Conditional Random Field (CRF) and recurrent neural models have achieved success in structured prediction. More recently, there is a marriage of CRF and recurrent neural models, so that we can gain from both non-linear dense features and globally normalized CRF objective. These recurrent neural CRF models mainly focus on encode node features in CRF undirected graphs. However, edge features prove important to CRF in structured prediction. In this work, we introduce a new recurrent neural CRF model, which learns non-linear edge features, and thus makes non-linear features encoded completely. We compare our model with different neural models in well-known structured prediction tasks. Experiments show that our model outperforms state-of-the-art methods in NP chunking, shallow parsing, Chinese word segmentation and POS tagging.

研究动机与目标

• 解决现有循环神经网络CRF模型仅学习非线性节点特征而未学习非线性边特征的局限性。
• 通过利用边特征建模标签间的非线性依赖关系，提升结构化预测性能。
• 证明在基于CRF的模型中，学习非线性边特征比学习非线性节点特征更为关键。
• 通过保持LSTM和CRF内部结构不变，确保与标准CRF推理和反向传播的兼容性。
• 在包括POS标注、NP分块和中文分词在内的多个基准NLP任务中实现最先进性能。

提出的方法

• 使用双向LSTM处理输入序列，生成编码上下文信息的隐藏状态。
• 应用边嵌入表示输入词之间的连接关系，捕捉结构化关联。
• 通过独立的LSTM层处理边嵌入，学习非线性边特征。
• 将LSTM输出用作CRF中转移团的能级函数，替代标准的线性转移矩阵。
• 保持标准CRF动态规划用于解码，以及反向传播用于训练，确保计算效率。
• 在统一的CRF框架中整合非线性节点特征（来自输入词表示）与非线性边特征（来自词间依赖关系）。

实验结果

研究问题

• RQ1 学习非线性边特征是否能显著提升序列标注任务中的结构化预测性能？
• RQ2 与仅使用非线性节点特征相比，非线性边特征带来的性能提升是否更大？
• RQ3 将非线性边特征整合到CRF能量函数中，是否能比线性边特征更好地建模结构依赖关系？
• RQ4 循环神经网络CRF模型是否能在学习复杂边表示的同时，保持与标准CRF推理的兼容性？
• RQ5 所提出的模型是否在POS标注、NP分块和中文分词等多样化NLP任务中均实现了最先进结果？

主要发现

• 所提出的Edge-based-1与Edge-based-2模型在NP分块任务中达到95.25% F1，优于BiLSTM-CRF基线模型（94.97%）及所有先前方法。
• 在浅层分析任务中，模型达到94.80% F1，超越了先前最先进模型，包括BiLSTM-CRF（94.46%）与卷积CRF（94.32%）。
• 在词性标注任务中，模型达到97.56%准确率，超过此前最佳结果97.44%（来自前馈神经网络CRF模型）。
• 在社交媒体文本的中文分词任务中，模型达到91.27% F1，优于BiLSTM-CRF（91.16%）与BiLSTM（90.81%）。
• 统计显著性检验表明，所有任务中的性能提升均高度显著（p ≤ 0.0001）。
• 消融实验表明，建模非线性边特征的影响大于仅依赖非线性节点特征，凸显了结构依赖关系建模的重要性。