[论文解读] Second-Order Semantic Dependency Parsing with End-to-End Neural Networks

Xinyu Wang, Jingxian Huang+1 more|arXiv (Cornell University)|Jun 19, 2019

Topic Modeling参考文献 22被引用 5

一句话总结

该论文提出了一种端到端的神经二阶语义依存解析器，通过均值场变分推断（MF）或环状信念传播（LBP）建模依存边之间的相互作用，将其展开为循环层。该方法在域内和域外测试集上分别实现了1.3%和1.4%的标签F1分数提升，达到当前最优性能，尤其在长句和低资源设置下提升更显著。

ABSTRACT

Semantic dependency parsing aims to identify semantic relationships between words in a sentence that form a graph. In this paper, we propose a second-order semantic dependency parser, which takes into consideration not only individual dependency edges but also interactions between pairs of edges. We show that second-order parsing can be approximated using mean field (MF) variational inference or loopy belief propagation (LBP). We can unfold both algorithms as recurrent layers of a neural network and therefore can train the parser in an end-to-end manner. Our experiments show that our approach achieves state-of-the-art performance.

研究动机与目标

• 解决语义依存解析中缺乏有效二阶建模的问题。
• 实现通过推断过程的反向传播，对高阶语义依存解析器进行端到端训练。
• 提升解析准确率，尤其是在长句和低资源设置下。
• 通过变分推断和信念传播，将神经图结构解析扩展至二阶依赖关系。

提出的方法

• 使用BiLSTM将词嵌入和词性标注（POS）嵌入编码为上下文表示。
• 采用双仿射（biaffine）和三线性（trilinear）函数独立地对一阶边及其标签进行打分。
• 引入二阶成分（兄弟节点、共父节点、祖父母节点），并使用三线性打分函数建模边之间的相互作用。
• 将均值场变分推断（MF）和环状信念传播（LBP）展开为近似推理的可微分循环层。
• 使用基于梯度的优化方法，通过最大化标准解析结果的似然性，对整个模型进行端到端训练。
• 采用共享编码器，配备两个并行分支：一个用于边存在性判断，一个用于边标签分类。

实验结果

研究问题

• RQ1 二阶依存解析能否提升语义依存解析的准确率？
• RQ2 像MF和LBP这样的近似推理算法能否在神经网络中有效展开为可微分的循环层？
• RQ3 与一阶或不可微方法相比，二阶语义解析器的端到端训练是否能带来更好的性能？
• RQ4 与先前工作相比，该模型在低资源或长序列条件下的表现如何？
• RQ5 对二阶成分的三线性打分能否捕捉到超越一阶边的有意义句法-语义交互？

主要发现

• 所提模型在域内和域外测试集上均达到当前最优性能。
• 与之前的SOTA模型相比，该模型在域内测试集上标签F1提升1.3%，在域外测试集上提升1.4%。
• 在长句和低资源设置下，该模型相对于基线模型的性能提升更为显著。
• 通过MF和LBP实现的端到端可微分推理，使得反向传播能够有效穿过解析决策。
• 二阶建模提供了持续的性能提升，尤其在复杂或罕见的句法结构中表现更优。
• 在域内和域外测试集上，该模型分别比一阶基线模型在标签F1上高出0.3%和0.4%。