[论文解读] $2 * n$ is better than $n^2$: Decomposing Event Coreference Resolution into Two Tractable Problems

Shafiuddin Rehan Ahmed, Abhijnan Nath+2 more|arXiv (Cornell University)|May 9, 2023

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出了一种两阶段事件共指消解（ECR）方法，将任务分解为（1）基于词形的启发式方法以过滤非共指共指对，以及（2）针对交叉编码器判别器的平衡训练设置。通过降低二次方复杂度并改善数据平衡，该方法在ECB+和GVC数据集上实现了最先进性能，且计算成本显著降低。

ABSTRACT

Event Coreference Resolution (ECR) is the task of linking mentions of the same event either within or across documents. Most mention pairs are not coreferent, yet many that are coreferent can be identified through simple techniques such as lemma matching of the event triggers or the sentences in which they appear. Existing methods for training coreference systems sample from a largely skewed distribution, making it difficult for the algorithm to learn coreference beyond surface matching. Additionally, these methods are intractable because of the quadratic operations needed. To address these challenges, we break the problem of ECR into two parts: a) a heuristic to efficiently filter out a large number of non-coreferent pairs, and b) a training approach on a balanced set of coreferent and non-coreferent mention pairs. By following this approach, we show that we get comparable results to the state of the art on two popular ECR datasets while significantly reducing compute requirements. We also analyze the mention pairs that are "hard" to accurately classify as coreferent or non-coreferent. Code at https://github.com/ahmeshaf/lemma_ce_coref

研究动机与目标

• 解决大规模语料中因事件提及对比较的O(n²)复杂度导致的计算不可行性问题。
• 克服训练数据中非共指对远多于共指对所导致的类别不平衡问题。
• 通过在共指与非共指对的平衡子集上进行训练，提升模型泛化能力，尤其聚焦于困难样本。
• 通过减少对GPU密集型训练的依赖，实现高效、可扩展的ECR，适用于低资源及词形丰富的语言。
• 提供可操作的错误分析，以指导未来在共指消解方面的改进，特别是针对模糊或对抗性提及对。

提出的方法

• 应用基于词形的启发式方法对提及对进行预过滤，识别出高相似度对为可能的非共指对（P⁻_TN）或共指对（P⁺_easy）。
• 构建一个由P⁺_easy（易正例）和P⁻_hard（难负例）组成的平衡训练集，排除P⁻_TN以减少数据不平衡。
• 在平衡数据集上训练交叉编码器判别器，以提升在困难样本上的泛化能力。
• 使用基于聚类的纯度评估方法识别并分析最终事件聚类中误分类的对，重点关注假阴性和假阳性。
• 引入两步流水线：启发式过滤后接判别分类，解耦完整成对比较的复杂性。
• 利用交叉编码器的注意力机制捕捉表面相似性之外的深层语义关系，尤其适用于P⁺_FN和P⁻_hard情形。

Figure 1: In this approach, we use a lemma-based heuristic to identify coreference, or the relationship between two mentions in a text that refer to the same event. We compare the similarity between the event trigger, which is highlighted in bold and italic, and the lemmas, or base forms, of the sen

实验结果

研究问题

• RQ1 简单的启发式方法是否能减少事件共指消解中需进行昂贵成对分类的提及对数量？
• RQ2 与倾斜采样相比，在共指与非共指对的平衡子集上进行训练是否能提升模型性能？
• RQ3 难以分类的对（P⁺_FN和P⁻_hard）如何影响交叉编码器模型在ECR中的表现？
• RQ4 与现有方法相比，所提方法是否能在显著降低计算成本的前提下实现最先进结果？
• RQ5 交叉编码器在ECR中的主要失败模式是什么？能否通过架构或流水线改进加以缓解？

主要发现

• 所提方法在ECB+和GVC数据集上实现了最先进性能，同时相比以往方法显著降低了计算需求。
• 基于词形的启发式方法成功过滤出大量非共指对（P⁻_TN），减少了需进行模型推理的对数。
• 在P⁺_easy与P⁻_hard对的平衡数据集上进行训练，可实现更好的泛化能力，尤其在常被倾斜数据训练的模型误判的困难样本上表现更优。
• 错误分析显示，主要失败模式为对抗性对（如“英国徒步者”与“新西兰徒步者”）以及集合成员关系（如“枪击事件”被归入“枪击”事件），可通过额外聚类或语义标注加以解决。
• 单个提及并非错误的主要来源；相反，合并了大聚类的高纯度聚类才是误分类的主要原因。
• 该方法展现出良好的可扩展性与效率，适用于低算力环境，并为未来扩展至词形丰富或低资源语言提供了可行性。

Figure 2: Coreferent vs. non-coreferent mention pairs ratio across datasets.