[论文解读] End-to-end Semantic Role Labeling with Neural Transition-based Model

Hao Fei, Meishan Zhang+2 more|arXiv (Cornell University)|Jan 2, 2021

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出了首个用于语义角色标注（SRL）的端到端神经转移基于模型，通过增量转移动作联合执行谓词识别与论元角色标注。通过采用闭合优先解析顺序和高阶特征组合以捕捉长距离依赖，该模型在CoNLL09和通用论断库上实现了最先进性能，同时保持了线性时间解码效率。

ABSTRACT

End-to-end semantic role labeling (SRL) has been received increasing interest. It performs the two subtasks of SRL: predicate identification and argument role labeling, jointly. Recent work is mostly focused on graph-based neural models, while the transition-based framework with neural networks which has been widely used in a number of closely-related tasks, has not been studied for the joint task yet. In this paper, we present the first work of transition-based neural models for end-to-end SRL. Our transition model incrementally discovers all sentential predicates as well as their arguments by a set of transition actions. The actions of the two subtasks are executed mutually for full interactions. Besides, we suggest high-order compositions to extract non-local features, which can enhance the proposed transition model further. Experimental results on CoNLL09 and Universal Proposition Bank show that our final model can produce state-of-the-art performance, and meanwhile keeps highly efficient in decoding. We also conduct detailed experimental analysis for a deep understanding of our proposed model.

研究动机与目标

• 为解决流水线模型与图结构模型在端到端SRL中的局限性，提出一种基于转移的神经框架。
• 通过统一的增量解析过程，实现谓词识别与论元角色标注之间的相互作用。
• 通过从先前识别的论元-谓词结构中显式组合高阶特征，改进长距离依赖建模。
• 在保持高解码效率的同时，实现最先进性能，优于现有的图结构基线模型。
• 通过消融实验与分析，验证闭合优先解析与高阶特征组合的有效性。

提出的方法

• 该模型采用基于转移的解析框架，通过增量应用动作，在闭合优先顺序下识别谓词并分配论元角色。
• 转移决策由BiLSTM与Stack-LSTM联合实现，用于编码缓冲区与栈的状态，输入表示结合了词嵌入、字符级特征、词性标注与依存结构。
• 引入高阶特征组合，将先前识别的论元-谓词评分分布融入当前动作预测，以增强长距离依赖建模能力。
• 模型利用递归TreeLSTM生成依赖感知表示，提升结构感知能力。
• 解码过程中采用束搜索以优化未来决策，系统通过交叉熵损失进行端到端训练。
• 集成上下文嵌入（如BERT、ELMo）以进一步提升性能。

实验结果

研究问题

• RQ1 基于神经转移的模型能否在端到端语义角色标注中实现最先进性能？
• RQ2 高阶特征组合如何提升基于转移的SRL系统中远距离论元角色标注的性能？
• RQ3 闭合优先解析顺序是否能提升论元角色标注的准确性，尤其是对远程论元？
• RQ4 谓词识别与论元角色标注之间的相互作用如何影响整体性能？
• RQ5 高阶特征与闭合优先解析对减少论元角色违规的影响如何？

主要发现

• 所提出的基于转移的模型在CoNLL09与通用论断库上均实现了最先进性能，优于现有图结构基线模型。
• 通过高阶特征组合，模型相较基线模型将论元角色违规减少了40%，尤其在延续性与指代性角色检测方面表现显著提升。
• 闭合优先解析顺序显著提升了唯一核心角色标注的准确性，相比从左到右解析方式，违规率降低超过50%。
• 该模型保持了线性时间解码复杂度，效率高于图结构基线模型。
• 集成BERT等上下文嵌入进一步提升了整体SRL性能，证明了该模型与现代NLP架构的良好兼容性。
• 消融实验确认，高阶特征对长距离论元识别至关重要，若移除，性能最高下降达15%。