[论文解读] Bridging the Gap: Attending to Discontinuity in Identification of Multiword Expressions

Omid Rohanian, Shiva Taslimipoor+3 more|arXiv (Cornell University)|Feb 27, 2019

Topic Modeling参考文献 20被引用 10

一句话总结

该论文提出了一种新颖的混合深度学习模型，结合图卷积网络（GCN）与多头自注意力机制，用于识别不连续多词表达（MWE），利用依存句法树和长距离注意力捕捉非相邻关系。该模型在四种语言的不连续MWE识别任务中达到最先进性能，显著提升了F-score，其中英语和法语表现最佳，在不连续MWE上的性能相比强基线模型最高提升10.5%。

ABSTRACT

We introduce a new method to tag Multiword Expressions (MWEs) using a linguistically interpretable language-independent deep learning architecture. We specifically target discontinuity, an under-explored aspect that poses a significant challenge to computational treatment of MWEs. Two neural architectures are explored: Graph Convolutional Network (GCN) and multi-head self-attention. GCN leverages dependency parse information, and self-attention attends to long-range relations. We finally propose a combined model that integrates complementary information from both through a gating mechanism. The experiments on a standard multilingual dataset for verbal MWEs show that our model outperforms the baselines not only in the case of discontinuous MWEs but also in overall F-score.

研究动机与目标

• 为解决NLP中不连续MWE这一研究不足的挑战，因其非相邻成分难以检测而具有困难。
• 开发一种具有语言可解释性、语言无关的深度学习架构，用于MWE识别，以处理句法与语义上的特殊性。
• 整合GCN用于句法依存建模，以及自注意力机制用于长距离序列依赖建模，以提升不连续MWE的检测能力。
• 在多语言基准数据集上评估模型，证明其在多种MWE类型与语言下的鲁棒性。
• 提出一种门控融合机制，结合GCN与自注意力输出，实现超越单一组件的性能提升。

提出的方法

• 将GCN层应用于依存句法树，使用邻接矩阵建模词语之间的关系，包含三种关系类型：主干到依存、依存到主干，以及自环。
• GCN通过可学习权重与非线性激活函数，对邻近节点进行加权求和，计算节点表示，定义为 $ C_s = f(W_s X^T A + b_s) $。
• 多头自注意力机制通过每位置 $ O(1) $ 次操作，关注序列中所有位置，实现上下文感知表示，支持长距离依赖建模。
• 采用高速公路网络对GCN与自注意力输出进行门控融合，实现句法与序列特征的动态整合。
• 最终模型使用双向LSTM，以GCN与注意力特征作为输入，随后通过CRF解码进行序列标注。
• 模型在多语言动词性MWE数据集上进行端到端训练，性能通过基于MWE的F-score进行评估。

实验结果

研究问题

• RQ1 基于GCN的架构是否能通过利用依存句法结构有效建模不连续MWE？
• RQ2 自注意力机制是否能通过捕捉非相邻词元之间的长距离依赖，提升MWE检测性能？
• RQ3 结合GCN与自注意力的混合模型是否在识别连续与不连续MWE方面，优于单一组件与最先进基线？
• RQ4 模型在MWE分布与不连续率不同的语言中，性能表现如何变化？
• RQ5 门控融合与关系类型聚合等架构选择对检测准确率的影响程度如何？

主要发现

• 基于GCN的模型在所有四种语言的不连续MWE上均优于基线，英语的F-score提升7.6%（24.15 vs. 16.53）。
• 通过门控机制融合GCN与自注意力的H-combined模型，在英语上达到最高整体F-score 41.91，在法语上达到70.97，超越基线与SOTA系统。
• 在不连续MWE上，H-combined模型相比基线，法语F-score提升6.1%（63.90 vs. 58.70），英语提升5.6%（22.73 vs. 16.53）。
• 即使在不连续性比例较低的语言如波斯语（FA）中（21%的MWE为不连续），模型仍表现出一致的性能提升，表明对低数据稀疏性具有鲁棒性。
• 在复杂句法结构（如被动语态中存在长距离空缺，例如相隔5个词）中，H-combined模型能正确识别MWE，而GCN单独无法识别，证明注意力机制在长距离推理中的优势。
• 消融实验确认GCN与自注意力均对性能有独立贡献，混合模型在所有语言与MWE类型中均取得最佳结果。