[论文解读] Revealing the Myth of Higher-Order Inference in Coreference Resolution

Liyan Xu, Jinho D. Choi|arXiv (Cornell University)|Sep 25, 2020

Topic Modeling参考文献 16被引用 10

一句话总结

本文通过在基于SpanBERT的强健端到端模型中评估四种高阶推理（HOI）方法——注意力先行指代、实体等价、跨度聚类和聚类合并——挑战了HOI在共指消解中假设的有效性。尽管HOI被广泛采用，但其带来的性能提升仅边际或为负，最佳模型在CoNLL 2012数据集上达到80.2的Avg-F1，表明近期共指消解性能的提升主要源于表征学习，而非HOI。

ABSTRACT

This paper analyzes the impact of higher-order inference (HOI) on the task of coreference resolution. HOI has been adapted by almost all recent coreference resolution models without taking much investigation on its true effectiveness over representation learning. To make a comprehensive analysis, we implement an end-to-end coreference system as well as four HOI approaches, attended antecedent, entity equalization, span clustering, and cluster merging, where the latter two are our original methods. We find that given a high-performing encoder such as SpanBERT, the impact of HOI is negative to marginal, providing a new perspective of HOI to this task. Our best model using cluster merging shows the Avg-F1 of 80.2 on the CoNLL 2012 shared task dataset in English.

研究动机与目标

• 探究在现代深度学习模型中，高阶推理（HOI）是否真正提升共指消解性能。
• 在相同的高性能编码器条件（BERT和SpanBERT）下，评估两种现有和两种新型HOI方法。
• 确定近期共指模型性能提升的主要原因是否为表征学习，而非HOI。
• 在CoNLL 2012基准上，对HOI技术进行全面消融研究，实现并列比较。
• 挑战主流假设，即HOI对共指消解中的全局优化至关重要。

提出的方法

• 基于c2f-coref模型重新实现一个端到端共指系统，使用PyTorch构建，提及候选通过跨度枚举与剪枝识别。
• 模型采用结合提及有效性与共指可能性的局部打分函数，跨度表征来自BERT和SpanBERT。
• 实现四种HOI方法：注意力先行指代（AA）、实体等价（EE）、跨度聚类（SC）和聚类合并（CM），均通过非局部上下文优化跨度表征。
• 通过学习门控 $ f_x = \sigma(W_f[g_x, a_x]) $ 计算优化后的表征 $ g_x' $，对原始表征与优化表征进行插值。
• 不同HOI方法在计算优化表征 $ a_x $ 的方式上存在差异：AA通过关注先行指代计算，EE强制实现实体层面的一致性，SC基于相似性对跨度聚类，CM基于置信度合并聚类。
• 实验在CoNLL 2012英文数据集上进行，消融研究对比了不同编码器与HOI方法的性能表现。

实验结果

研究问题

• RQ1 当与最先进的上下文编码器（如SpanBERT）结合时，高阶推理（HOI）是否显著提升共指消解性能？
• RQ2 在CoNLL 2012基准上，不同HOI方法（如注意力先行指代、实体等价、跨度聚类和聚类合并）在有效性上如何比较？
• RQ3 HOI在多大程度上改善了局部决策（如代词消解）？其对错误类型（如错误链接或错误链接）有何影响？
• RQ4 近期共指模型的性能提升主要源于表征学习，还是HOI？
• RQ5 HOI是否真正实现了全局优化？还是仅作为具有模糊净效应的隐式正则化形式存在？

主要发现

• 在高性能编码器（如SpanBERT）上使用时，高阶推理（HOI）仅带来边际或负面的性能提升，与广泛采用的假设相悖。
• 采用聚类合并（CM）方法的最优模型在CoNLL 2012数据集上达到80.2的Avg-F1，优于使用其他HOI方法的模型。
• HOI方法导致大致相等数量的链接被修正（W2C）或错误修正（C2W），表明其具有双向影响，整体增益被抵消。
• 实体等价（EE）和聚类合并（CM）将虚假链接（FL）错误减少超过4%，表明其决策更保守，但未显著提升整体F1。
• 从BERT切换到SpanBERT可使包含模糊代词（如'you'）的错误聚类减少近10%，而HOI方法无显著差异，凸显表征学习的主导作用。
• HOI在训练过程中对局部决策的间接影响使得其真实影响难以分离，表明HOI可能更像正则化而非独立的优化机制。