[论文解读] Learning Global Features for Coreference Resolution

Sam Wiseman, Alexander M. Rush+1 more|arXiv (Cornell University)|Apr 11, 2016

Topic Modeling参考文献 37被引用 43

一句话总结

本文提出了一种新颖的端到端共指消解系统，利用循环神经网络（RNNs）从其提及中学习实体簇的全局潜在表征，显著提升了对代词提及的性能，且无需复杂的推理过程。该方法在CoNLL F1得分上相比最先进方法提升了0.8分，所有指标的提升均具有统计显著性。

ABSTRACT

There is compelling evidence that coreference prediction would benefit from modeling global information about entity-clusters. Yet, state-of-the-art performance can be achieved with systems treating each mention prediction independently, which we attribute to the inherent difficulty of crafting informative cluster-level features. We instead propose to use recurrent neural networks (RNNs) to learn latent, global representations of entity clusters directly from their mentions. We show that such representations are especially useful for the prediction of pronominal mentions, and can be incorporated into an end-to-end coreference system that outperforms the state of the art without requiring any additional search.

研究动机与目标

• 为解决提及排序系统中代词共指错误这一长期挑战，此类系统常因缺乏全局上下文而失败。
• 通过从提及序列中端到端学习，克服手动设计有效簇级特征的困难。
• 在不牺牲推理效率的前提下，将全局结构信息整合到局部提及排序框架中。
• 证明潜在的RNN-based簇表征能够捕捉解析模糊代词所必需的全局依赖关系。
• 在共指消解基准上实现最先进性能，且无需额外的搜索或复杂训练过程。

提出的方法

• 该模型使用双向RNN将每个簇中提及序列编码为潜在的全局表征，捕捉提及之间的结构与语义依赖关系。
• RNN按提及出现顺序处理，为每个提及生成上下文感知的隐藏状态，反映簇状态的动态演变。
• 全局打分函数 $ g(x_n, y_n, \boldsymbol{z}_{1:n-1}) $ 将RNN学习的簇表征整合到每个提及 $ x_n $ 的先行词预测中。
• 系统作为固定上下文下的局部分类器进行端到端训练，支持类似标准提及排序模型的高效贪婪推理。
• 将RNN-based全局特征集成到提及排序框架中，其中每个提及的先行词基于局部特征和RNN学习的簇表征进行预测。
• 模型使用注意力机制突出显示簇中哪些提及对给定代词的预测影响最大，通过梯度显著性进行可视化。

实验结果

研究问题

• RQ1 从提及序列中学习的全局表征是否能提升共指消解性能，特别是对代词提及？
• RQ2 基于RNN的端到端簇表征学习方法是否优于依赖手工特征的系统？
• RQ3 能否在不增加推理复杂度的前提下，将全局信息整合到提及排序系统中？
• RQ4 RNN学习的簇表征在多大程度上有助于解析当前系统中主要错误来源的模糊代词？
• RQ5 全局特征带来的性能提升在标准CoNLL评估指标上是否具有统计显著性？

主要发现

• 所提出的基于RNN的全局特征学习方法在CoNLL F1得分上相比之前最先进方法提升了0.8分，且在所有三项CoNLL指标上提升均具有统计显著性。
• 该模型显著减少了对代词提及的错误，而代词提及是先前提及排序系统中持续存在的错误来源。
• 贪婪RNN模型通过将模糊代词 'his' 正确链接到 'Mr. Kaye' 而非性别一致但语义错误的 'Justin'，展示了对局部线索的改进推理能力。
• 梯度显著性可视化显示，随着簇的演化，模型学会了降低语义不连贯提及（如 'The company' 与 'his'）的权重，表明具备有效的全局推理能力。
• 该模型能正确识别 'It’s' 的冗余用法，通过识别早期非共指用法对全局得分的贡献，减少了错误先行词预测。
• 该系统保持了高效的贪婪推理，不同于许多需要复杂搜索的结构化模型，因此兼具高效性与实用性。