[论文解读] Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling

Luheng He, Kenton Lee+2 more|arXiv (Cornell University)|May 12, 2018

Topic Modeling参考文献 21被引用 15

一句话总结

该论文提出了一种端到端的神经语义角色标注模型，联合预测谓词、论元跨度及其语义角色，而无需依赖于人工标注的谓词。通过使用上下文化的跨度表示，并对所有可能的谓词-论元对进行独立的边预测并结合束搜索剪枝，该模型在PropBank SRL上取得了最先进性能，实现了无需人工谓词的新SOTA，同时提升了句法边界一致性的表现。

ABSTRACT

Recent BIO-tagging-based neural semantic role labeling models are very high performing, but assume gold predicates as part of the input and cannot incorporate span-level features. We propose an end-to-end approach for jointly predicting all predicates, arguments spans, and the relations between them. The model makes independent decisions about what relationship, if any, holds between every possible word-span pair, and learns contextualized span representations that provide rich, shared input features for each decision. Experiments demonstrate that this approach sets a new state of the art on PropBank SRL without gold predicates.

研究动机与目标

• 解决现有BIO标注SRL模型依赖人工谓词且无法整合跨度级特征的局限性。
• 实现在单次前向传播中端到端预测谓词、论元及其语义角色。
• 改进对重叠跨度和长距离依赖关系在SRL结构中的建模能力。
• 在不进行显式句法特征工程的情况下实现高句法边界一致性。
• 探索基于跨度的SRL在独立、束搜索剪枝边预测下的可行性。

提出的方法

• 模型将所有标记视为潜在谓词，所有跨度视为潜在论元，为每个可能的谓词-论元对预测一个语义角色标签。
• 对所有谓词-论元对采用条件独立性假设，每个边通过组合单个跨度得分和特定关系得分独立评分。
• 通过在词嵌入和字符嵌入上的双向LSTM学习上下文化的跨度表示，为每个预测提供丰富且共享的输入特征。
• 基于单个跨度得分对最高k个谓词和论元应用束搜索剪枝，将计算复杂度从O(n³|L|)降低至O(n²|L|)。
• 将最大跨度长度限制在W（例如30），以进一步减少候选论元的数量。
• 在测试阶段使用动态规划强制执行全局结构约束，以减少核心角色预测中的不一致性。

实验结果

研究问题

• RQ1 神经SRL模型能否在不依赖人工谓词的情况下联合预测谓词和论元？
• RQ2 与基于标记的表示相比，使用上下文化的跨度表示是否能提升SRL性能？
• RQ3 对所有谓词-论元对进行独立边预测是否能实现有竞争力的性能，同时支持重叠跨度？
• RQ4 与先前的SRL系统相比，该模型在长距离论元依赖关系上的表现如何？
• RQ5 该模型的独立性假设在多大程度上损害了全局结构一致性？

主要发现

• 该模型在无需人工谓词的PropBank SRL基准上实现了最先进性能，创下新的SOTA记录。
• 其句法边界一致性达到95.0%，与基于句法的系统相当，尽管未使用显式句法特征。
• 该模型在长距离依赖关系上表现更优，当谓词与论元间距离增加时，F1下降速度慢于基线系统。
• 该模型存在全局一致性问题，在CoNLL 2005开发集上违反唯一核心角色约束（U）达69次，而先前系统为37–48次。
• 在测试阶段应用约束解码可完全消除U约束违规，并减少C和R违规，但对整体SRL F1仅带来微小提升。
• 该模型对束大小具有鲁棒性，当每词保留60–100个谓词时，黄金论元承载谓词的召回率稳定在约90%。