[论文解读] High-order Refining for End-to-end Chinese Semantic Role Labeling

Hao Fei, Yafeng Ren+1 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 24被引用 4

一句话总结

本文提出了一种用于端到端中文语义角色标注（SRL）的高阶精炼机制，通过注意力机制的特征精炼，迭代捕捉所有谓词-论元对之间的全局交互，从而增强基于图的神经网络模型。该方法在CoNLL09和Universal Proposition Bank数据集上取得了SOTA结果，有效缓解了低资源中文SRL中的长距离依赖问题。

ABSTRACT

Current end-to-end semantic role labeling is mostly accomplished via graph-based neural models. However, these all are first-order models, where each decision for detecting any predicate-argument pair is made in isolation with local features. In this paper, we present a high-order refining mechanism to perform interaction between all predicate-argument pairs. Based on the baseline graph model, our high-order refining module learns higher-order features between all candidate pairs via attention calculation, which are later used to update the original token representations. After several iterations of refinement, the underlying token representations can be enriched with globally interacted features. Our high-order model achieves state-of-the-art results on Chinese SRL data, including CoNLL09 and Universal Proposition Bank, meanwhile relieving the long-range dependency issues.

研究动机与目标

• 解决一阶图神经网络模型在捕捉中文语义角色标注中长距离依赖关系方面的局限性。
• 在中文等低资源设置下提升端到端SRL的性能，此类设置下标注数据有限。
• 开发一种可微分、可并行化的机制，通过迭代的全局精炼过程丰富标记表示。
• 通过增强所有谓词-论元对之间的特征交互，在中文SRL基准上实现SOTA结果。

提出的方法

• 该方法基于一个基线图神经网络SRL模型，该模型使用BiLSTM编码器和双仿射注意力机制对所有候选谓词-论元对进行打分。
• 高阶精炼模块在每次精炼迭代中，对所有谓词-论元对计算基于注意力的高阶特征。
• 这些高阶特征用于更新原始的标记表示，使其融入全局上下文信息。
• 精炼过程重复进行N轮，实现逐步的全局交互并提升预测的一致性。
• 该模块完全可微分且可并行化，支持高效训练与推理。
• 该方法在上下文嵌入（ELMo和BERT）设置下进行评估，结果在各类设置中均表现出一致的性能提升。

实验结果

研究问题

• RQ1 迭代式的高阶特征精炼是否能够超越仅做孤立局部决策的一阶模型，在端到端中文SRL中实现性能提升？
• RQ2 所提出的高阶精炼机制在中文文本中长距离论元依赖关系上的表现如何？
• RQ3 该方法在中文等低资源语言的SRL中，能在多大程度上缓解数据稀缺问题？
• RQ4 全局交互机制是否能提升谓词检测与论元角色标注在准确率和一致性方面的表现？
• RQ5 不同数量的精炼迭代次数对模型性能和收敛性有何影响？

主要发现

• 所提出的高阶模型在CoNLL09数据集上实现了联合谓词与论元预测的SOTA F1分数88.6%，优于以往的端到端模型。
• 在使用BERT嵌入时，该模型在CoNLL09上达到90.3%的F1分数，表明在低资源设置下性能显著提升。
• 在Universal Proposition Bank（UPB）数据集上，该模型在论元角色标注任务中达到72.4%的F1分数，显著优于以往的端到端方法。
• 谓词检测任务的最佳精炼迭代次数为2轮，论元标注任务为4轮，表明不同任务存在最优的精炼深度。
• 该方法显著降低了在长距离论元（特别是表面距离≥7）上的性能下降，显示出对长距离依赖更强的鲁棒性。
• 消融实验证实，高阶精炼机制在多个数据集和嵌入类型下，均能持续提升两个子任务的性能。