[论文解读] Dependency or Span, End-to-End Uniform Semantic Role Labeling

Zuchao Li, Shexia He+5 more|arXiv (Cornell University)|Jan 16, 2019

Natural Language Processing Techniques参考文献 31被引用 18

一句话总结

该论文提出了一种统一的端到端神经模型，用于同时处理基于跨度的和基于依存的语义角色标注（SRL），采用共享的论元表示和双线性打分机制，在 CoNLL 2005、2012（基于跨度的 SRL）和 CoNLL 2008、2009（基于依存的 SRL）基准上实现了最先进性能，通过联合预测谓词和论元，无需句法输入。

ABSTRACT

Semantic role labeling (SRL) aims to discover the predicateargument structure of a sentence. End-to-end SRL without syntactic input has received great attention. However, most of them focus on either span-based or dependency-based semantic representation form and only show specific model optimization respectively. Meanwhile, handling these two SRL tasks uniformly was less successful. This paper presents an end-to-end model for both dependency and span SRL with a unified argument representation to deal with two different types of argument annotations in a uniform fashion. Furthermore, we jointly predict all predicates and arguments, especially including long-term ignored predicate identification subtask. Our single model achieves new state-of-the-art results on both span (CoNLL 2005, 2012) and dependency (CoNLL 2008, 2009) SRL benchmarks.

研究动机与目标

• 在单一端到端框架下统一基于跨度的和基于依存的 SRL。
• 联合预测谓词和论元，包括常被忽略的谓词识别任务。
• 评估在无句法依赖条件下，依存表示与基于跨度表示在 SRL 中的相对有效性。
• 研究 ELMo 和双线性打分对模型性能的影响。

提出的方法

• 通过将所有词视为潜在谓词，并将所有跨度/词视为候选论元，扩展基于跨度的 SRL 模型。
• 引入一种统一的论元表示，使同一模型能够处理基于跨度和基于依存的 SRL 注释格式。
• 采用双线性打分器，直接从上下文嵌入表示中预测谓词-论元关系。
• 使用 ELMo 嵌入作为上下文嵌入表示，以增强对句法和语义依赖的建模能力。
• 应用联合学习，同时预测所有谓词和论元，避免流水线错误。
• 在真实句法树上应用主干查找算法，将基于跨度的标注转换为依存形式，以实现公平比较。

实验结果

研究问题

• RQ1 一个单一的端到端模型能否通过统一表示有效处理基于跨度和基于依存的 SRL？
• RQ2 当两者均在无句法依赖条件下训练时，基于依存的 SRL 是否比基于跨度的 SRL 更有效？
• RQ3 ELMo 表示和双线性打分在统一 SRL 中对模型性能有何贡献？
• RQ4 在两种 SRL 形式中，谓词和论元的联合预测是否优于流水线方法？

主要发现

• 所提模型在 CoNLL 2005 上达到新的 SOTA F1 得分 87.7%，在 CoNLL 2012 上达到 86.0%（基于跨度的 SRL）。
• 对于基于依存的 SRL，模型在 CoNLL 2009 WSJ 上取得 90.4% 的 F1，在 CoNLL 2008 WSJ 上取得 85.3%，创下新 SOTA 记录。
• 移除 ELMo 导致 CoNLL 2005 上 F1 下降 3.3–3.5 个百分点，表明 ELMo 对基于跨度的 SRL 有显著益处。
• 将双线性打分器替换为前馈网络导致 F1 下降 0.5–1.6 个百分点，表明双线性打分的优越性。
• 即使在使用真实句法将基于跨度的标注转换为依存形式后，模型的依存性能（90.4%）仍超过基于跨度转换的上限（89.2%），支持依存 SRL 的优越性。
• 结果表明，在无句法依赖训练条件下，依存 SRL 比基于跨度的 SRL 更有效，即使基于跨度的结果通过真实句法转换后也未能超越。