[论文解读] A Re-ranking Model for Dependency Parser with Recursive Convolutional Neural Network

Chenxi Zhu, Xipeng Qiu+2 more|arXiv (Cornell University)|May 21, 2015

Natural Language Processing Techniques参考文献 29被引用 9

一句话总结

本文提出一种递归卷积神经网络（RCNN），用于在依存树中学习词语和短语的密集、组合性表征，从而实现对 $k$-best 句法分析输出的有效重排序。通过在递归架构中结合卷积特征提取与最大池化操作，RCNN 比以往模型更有效地捕捉句法与语义结构，在英语和中文依存句法分析基准上均达到最先进性能。

ABSTRACT

In this work, we address the problem to model all the nodes (words or phrases) in a dependency tree with the dense representations. We propose a recursive convolutional neural network (RCNN) architecture to capture syntactic and compositional-semantic representations of phrases and words in a dependency tree. Different with the original recursive neural network, we introduce the convolution and pooling layers, which can model a variety of compositions by the feature maps and choose the most informative compositions by the pooling layers. Based on RCNN, we use a discriminative model to re-rank a $k$-best list of candidate dependency parsing trees. The experiments show that RCNN is very effective to improve the state-of-the-art dependency parsing on both English and Chinese datasets.

研究动机与目标

• 解决传统基于特征的依存句法分析器依赖手工设计、稀疏特征而易过拟合的局限性。
• 学习依存树中所有节点（词语和短语）的联合、密集向量表征，包括未见短语。
• 设计一种能够处理 $k$-叉树（而不仅限于二叉树）的神经架构，以提升在依存句法分析中的适用性。
• 通过基于 RCNN 的判别式模型对 $k$-best 候选句法树进行重排序，提升句法分析准确率。
• 实现端到端的表征学习，优化用于句法分析的表示，而非使用固定、预训练的词嵌入。

提出的方法

• 提出一种递归卷积神经网络（RCNN），通过卷积和池化层处理依存树中每个节点及其子节点。
• 对于每个父子节点对，RCNN 单元先应用卷积层以建模交互关系，再通过最大池化层选取最具信息量的特征。
• 每个 RCNN 单元的输出作为其父节点 RCNN 单元的输入，从而实现从叶节点到根节点的递归组合。
• 根节点处的固定长度向量表示整个依存树，并用于在重排序框架中对句法树进行打分。
• 该模型在基线解析器生成的 $k$-best 句法输出上进行判别式训练，目标是使正确句法树得分最高。
• 引入位置嵌入以编码父子节点之间的相对位置，增强卷积层捕捉结构依赖关系的能力。

实验结果

研究问题

• RQ1 带有卷积和池化层的递归神经网络是否能有效建模依存树中的句法与组合性语义表征？
• RQ2 所提出的 RCNN 架构在处理非二叉（$k$-叉）依存树方面是否优于标准递归神经网络？
• RQ3 基于 RCNN 的重排序是否能提升现有依存句法分析器在英语和中文数据集上的准确率？
• RQ4 在 $k$-best 列表中包含最优树（oracle trees）对 RCNN 重排序器性能有何影响？
• RQ5 RCNN 模型在句法分析之外的其他自然语言处理任务（如文本分类）中具有多大程度的泛化能力？

主要发现

• RCNN 模型在英语和中文依存句法分析基准上均达到最先进性能，优于以往方法。
• 重排序模型显著提升了基线解析器的准确率，尤其当 $k$-best 列表中包含最优树时效果更明显。
• 当 $k \leq 64$ 时模型表现最佳，因为更大的 $k$ 值会导致错误类型增加和过拟合，主要由于负样本不足。
• 在 RCNN 中使用位置嵌入通过为卷积层提供结构上下文，显著提升了模型性能。
• RCNN 架构具有良好的泛化能力，可作为其他 NLP 任务（如文本分类）的句子级表征模型。
• 基于 RCNN 的判别式重排序方法优于生成式模型（如 IORNN），因为在训练过程中更有效地利用了错误候选树。