[论文解读] Bi-directional Attention with Agreement for Dependency Parsing

Hao Cheng, Hao Fang+3 more|arXiv (Cornell University)|Aug 6, 2016

Topic Modeling参考文献 33被引用 13

一句话总结

本文提出 BiAtt-DP，一种基于图的依存句法分析器，采用双向注意力机制并引入对齐一致性，以提升分析准确率。通过建模前向和后向解析方向，并利用黄金对齐的可微分近似强制注意力对齐，该模型以 O(n²) 的时间复杂度捕捉高阶依赖关系，在 CoNLL 2006 基准测试的 14 种语言中，有 6 种达到了当前最优的无标签依存弧准确率（UAS）。

ABSTRACT

We develop a novel bi-directional attention model for dependency parsing, which learns to agree on headword predictions from the forward and backward parsing directions. The parsing procedure for each direction is formulated as sequentially querying the memory component that stores continuous headword embeddings. The proposed parser makes use of {\it soft} headword embeddings, allowing the model to implicitly capture high-order parsing history without dramatically increasing the computational complexity. We conduct experiments on English, Chinese, and 12 other languages from the CoNLL 2006 shared task, showing that the proposed model achieves state-of-the-art unlabeled attachment scores on 6 languages.

研究动机与目标

• 通过利用能从正向和反向解析方向捕捉更丰富上下文信息的双向注意力机制，提升依存句法分析的准确率。
• 通过在正向和反向注意力对齐之间引入一致性目标，解决双向解码中的对齐不一致问题。
• 在不使计算复杂度超过 O(n²) 的前提下，隐式建模高阶解析历史，与传统基于图的解析器不同。
• 通过推导出一种简单且可解释的近似方法，弥合依存句法分析中潜在注意力机制与实际黄金对齐之间的差距。
• 展示基于记忆网络的注意力机制在基于图的依存句法分析中的有效性，这是该领域的一项新应用。

提出的方法

• 模型使用记忆网络，将所有可能的头词嵌入表示为连续向量，构成记忆组件。
• 查询组件采用双向循环神经网络（RNN），按顺序生成对记忆的查询，通过注意力机制在记忆中动态检索相关头词，生成软性头词嵌入。
• 注意力机制计算查询与每个头词嵌入之间的对齐得分，生成所有可能头词的概率分布。
• 引入一种新颖的一致性目标，用于对齐正向和反向解析方向的注意力分布，使用黄金弧对齐的可微分近似。
• 通过共享嵌入矩阵，将词形、词性标注、词干及其他特征加法式地组合成词元嵌入，以减少参数量。
• 解析过程同时处理所有可能的弧，类似于 MSTParser，但使用神经注意力机制在序列解码过程中动态关注相关头词。

实验结果

研究问题

• RQ1 与单向或无一致性约束的模型相比，采用对齐一致性的双向注意力是否能提升依存句法分析性能？
• RQ2 在正向和反向注意力方向之间强制对齐一致性，是否能带来更一致且更准确的头词预测？
• RQ3 基于记忆网络的注意力机制是否能在不使计算复杂度超过 O(n²) 的前提下，隐式建模高阶解析历史？
• RQ4 在监督式依存句法分析的背景下，所提出的对齐目标近似方法是否有效且可解释？
• RQ5 该模型是否在多种语言（包括低资源语言）上均达到当前最优性能？

主要发现

• 在 CoNLL 2006 共享任务中，BiAtt-DP 在中文、捷克语、荷兰语、德语、西班牙语和土耳其语上均取得了当前最优的无标签依存弧准确率（UAS）。
• 在英语上，该模型优于所有此前报告的基于图的解析器，展现出强大的泛化能力。
• 该模型在 14 种语言上均表现出色，涵盖高资源和低资源语言，且 UAS 指标持续提升。
• 一致性目标显著提高了正向与反向解析方向之间的对齐一致性，使预测更加鲁棒。
• 尽管建模了高阶依赖关系，计算复杂度仍保持在 O(n²)，支持长句的高效解析。
• 加法式词元嵌入设计减少了模型参数量，并提升了多语言特征的融合效果，尤其在使用多种语言特征时优势明显。