[论文解读] Neural CRF Parsing

Greg Durrett, Dan Klein|arXiv (Cornell University)|Jul 13, 2015

Natural Language Processing Techniques参考文献 32被引用 22

一句话总结

本文提出了一种神经条件随机场（CRF）解析模型，该模型通过前馈神经网络将传统的稀疏特征表示替换为非线性、密集的特征表示，同时通过CKY保持精确的结构化推理。该方法在多个语言的语法解析基准上取得了最先进性能，在宾夕法尼亚树库第23节上达到91.1的F1分数，优于以往单解析器的结果。

ABSTRACT

This paper describes a parsing model that combines the exact dynamic programming of CRF parsing with the rich nonlinear featurization of neural net approaches. Our model is structurally a CRF that factors over anchored rule productions, but instead of linear potential functions based on sparse features, we use nonlinear potentials computed via a feedforward neural network. Because potentials are still local to anchored rules, structured inference (CKY) is unchanged from the sparse case. Computing gradients during learning involves backpropagating an error signal formed from standard CRF sufficient statistics (expected rule counts). Using only dense features, our neural CRF already exceeds a strong baseline CRF model (Hall et al., 2014). In combination with sparse features, our system achieves 91.1 F1 on section 23 of the Penn Treebank, and more generally outperforms the best prior single parser results on a range of languages.

研究动机与目标

• 通过将CRF结构的归纳偏置与神经网络的表征能力相结合，提升句法解析性能。
• 在保留精确动态规划推理的前提下，实现在结构化预测中的非线性特征学习。
• 通过用密集的、学习得到的表示替代CRF解析中稀疏特征工程的局限，克服其不足。
• 在多种语言的句法解析基准上实现最先进性能。

提出的方法

• 该模型使用基于锚定规则生成的CRF，保持与传统CRF解析相同的结构归纳偏置。
• 非线性势函数通过前馈神经网络计算，而非基于稀疏特征的线性函数。
• 通过CKY解析执行结构化推理，由于局部势函数的存在，推理过程保持高效且精确。
• 训练期间的梯度通过反向传播计算，使用标准CRF充分统计量，特别是期望规则计数。
• 该模型支持密集特征，并可与稀疏特征结合以提升性能。

实验结果

研究问题

• RQ1 神经网络是否能在不牺牲精确推理的前提下，提升CRF解析中局部特征的表征能力？
• RQ2 用非线性神经势函数替代线性特征函数是否能提升解析准确率？
• RQ3 神经CRF是否能在宾夕法尼亚树库等标准解析基准上实现最先进结果？
• RQ4 在解析中结合密集与稀疏特征时，模型表现如何？

主要发现

• 神经CRF模型在宾夕法尼亚树库第23节上达到91.1的F1分数，创下单解析器结果的新纪录。
• 仅使用密集特征时，该模型已优于Hall等人（2014）提出的强基线CRF模型。
• 该模型在多种语言上泛化能力良好，在一系列语言上优于以往最佳单解析器结果。
• 结合密集与稀疏特征的模型在性能上持续优于仅使用单一特征类型的模型。