[论文解读] Improving Coreference Resolution by Leveraging Entity-Centric Features with Graph Neural Networks and Second-order Inference

Lu Liu, Zhenqiao Song+2 more|arXiv (Cornell University)|Sep 10, 2020

Topic Modeling参考文献 30被引用 7

一句话总结

该论文提出 GNNCR，一种利用图神经网络通过提及之间的迭代消息传递来捕捉以实体为中心的特征，并采用二阶解码算法以确保全局一致性的共指消解模型。该方法通过有效建模长距离依赖关系并减少不一致的聚类错误，在 CoNLL-2012 数据集上实现了接近最先进（SOTA）的性能。

ABSTRACT

One of the major challenges in coreference resolution is how to make use of entity-level features defined over clusters of mentions rather than mention pairs. However, coreferent mentions usually spread far apart in an entire text, which makes it extremely difficult to incorporate entity-level features. We propose a graph neural network-based coreference resolution method that can capture the entity-centric information by encouraging the sharing of features across all mentions that probably refer to the same real-world entity. Mentions are linked to each other via the edges modeling how likely two linked mentions point to the same entity. Modeling by such graphs, the features between mentions can be shared by message passing operations in an entity-centric manner. A global inference algorithm up to second-order features is also presented to optimally cluster mentions into consistent groups. Experimental results show our graph neural network-based method combing with the second-order decoding algorithm (named GNNCR) achieved close to state-of-the-art performance on the English CoNLL-2012 Shared Task dataset.

研究动机与目标

• 为解决在文本中提及广泛分散的情况下难以捕捉全局、以实体为中心的特征这一挑战。
• 克服提及对模型缺乏簇级上下文信息以及前向仅模型中错误传播问题的局限性。
• 开发一种方法，实现在可能指代同一实体的提及之间双向特征共享，从而提升聚类一致性。
• 设计一种全局推理算法，利用二阶特征（提及三元组）优化聚类决策，减少矛盾链接。

提出的方法

• 将提及表示为图中的节点，边表示两个提及指代同一实体的可能性。
• 通过多层图神经网络执行迭代消息传递，聚合提及之间的特征，实现以实体为中心的表征学习。
• 模型采用二阶解码算法，将树得分分解为弧对贡献，允许对提及三元组进行优化，以提升一致性。
• 弧对评分函数端到端学习，捕捉提及对之间超越简单加法得分的非线性交互。
• 系统结合基于 GNN 的上下文编码与全局推理步骤，确保最终聚类全局最优且无冲突链接。

实验结果

研究问题

• RQ1 图神经网络是否能通过在共指链中提及之间实现双向特征共享，有效建模以实体为中心的特征？
• RQ2 通过全局推理算法引入二阶特征（提及三元组）是否能带来比传统贪心法或束搜索法更一致且更准确的聚类？
• RQ3 利用全局实体级信息在多大程度上能减少共指消解中的常见错误类型，如混淆实体和遗漏提及？
• RQ4 在 CoNLL-2012 基准上，该方法与最先进模型相比，在 F1 分数和错误分布方面表现如何？

主要发现

• GNNCR 在 CoNLL-2012 英文共指消解数据集上实现了接近最先进性能，证明了其架构的有效性。
• 与 NECR 相比，该模型减少了 42 个混淆实体错误，表明聚类决策的一致性得到提升。
• 二阶解码算法显著减少了错误链接，特别是在涉及提及之间性别或身份不匹配的情况下。
• 弧对评分函数被发现对单个弧得分具有非线性依赖关系，证实了为三元组交互学习专用函数的必要性。
• GNNCR 的精确率高于 NECR，多出 26 个额外提及错误和 29 个额外实体错误，表明其聚类更保守且更准确。
• 尽管召回率略低（多遗漏 4 个提及和 17 个实体），但整体 F1 提升主要得益于精确率和一致性的显著提升。