[论文解读] Paired Representation Learning for Event and Entity Coreference.

Xiaodong Yu, Wenpeng Yin+1 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 24被引用 23

一句话总结

本文提出配对表征学习（PairedRL），一种统一的事件与实体共指消解框架，通过将元素对的个体上下文与相互上下文联合编码为单一序列，建模其联合表征。通过保留事件论元的结构表征并利用跨上下文编码，PairedRL 在跨文档与文档内共指消解基准上均达到最先进性能，显著优于先前方法。

ABSTRACT

Co-reference of Events and of Entities are commonly formulated as binary classification problems, given a pair of events or entities as input. Earlier work addressed the main challenge in these problems -- the representation of each element in the input pair by: (i) modelling the representation of one element (event or entity) without considering the other element in the pair; (ii) encoding all attributes of one element (e.g., arguments of an event) into a single non-interpretable vector, thus losing the ability to compare cross-element attributes. In this work we propose paired representation learning (PairedRL) for coreference resolution. Given a pair of elements (Events or Entities) our model treats the pair's sentences as a single sequence so that each element in the pair learns its representation by encoding its own context as well the other element's context. In addition, when representing events, PairedRL is structured in that it represents the event's arguments to facilitate their individual contribution to the final prediction. As we show, in both (within-document & cross-document) event and entity coreference benchmarks, our unified approach, PairedRL, outperforms prior state of the art systems with a large margin.

研究动机与目标

• 解决先前共指模型仅孤立表示单一元素而未考虑配对上下文的局限性。
• 通过在共享序列中联合编码配对中的两个元素，克服因表征不可解释性与跨属性比较缺失的问题。
• 保留事件论元的结构信息，以支持共指对中元素的细粒度比较。
• 构建一个统一框架，在事件与实体共指任务中均表现良好，包括跨文档场景。
• 通过建模配对元素间的相互上下文而非将其视为独立表征，提升性能。

提出的方法

• 将每对事件或实体视为单一输入序列，合并其各自句子以实现联合编码。
• 使用基于 Transformer 的编码器，学习同时包含目标元素及其配对对象的上下文表征。
• 对事件表征进行结构化设计，分别编码论元（如参与者、时间、地点）以支持可解释性比较。
• 通过在共指对上使用二分类损失端到端训练模型，事件与实体任务共享参数。
• 利用注意力机制，使每个元素能够关注另一元素的上下文，增强跨元素对齐。
• 在事件与实体类型之间应用共享表征学习，实现共指类型间的迁移与泛化。

实验结果

研究问题

• RQ1 与独立建模相比，对配对元素进行联合编码是否能提升共指消解性能？
• RQ2 保留事件论元的结构化表征是否能提升共指任务中的预测准确率？
• RQ3 统一的模型架构能否有效处理事件与实体共指任务并实现一致性能提升？
• RQ4 该模型在文档内与跨文档共指消解场景下的表现如何？
• RQ5 建模元素间的相互上下文是否能带来优于孤立建模单个元素的对齐效果？

主要发现

• PairedRL 在事件与实体共指消解基准上均达到最先进性能，显著优于先前方法。
• 模型在跨文档共指消解中表现更优，该场景下长距离与上下文对齐至关重要。
• 对配对中两个元素进行联合编码，相比孤立建模单一元素，能实现更优的表征学习。
• 在事件表征中保留论元层级结构，可增强模型对共指关系的推理能力。
• 统一架构在事件与实体类型间具有良好泛化能力，展现出鲁棒性与可迁移性。
• 性能提升显著，相较于先前最先进系统，报告的改进幅度较大。