[论文解读] Improving Coreference Resolution by Learning Entity-Level Distributed Representations

Kevin Clark, Christopher D. Manning|arXiv (Cornell University)|Jun 4, 2016

Natural Language Processing Techniques被引用 12

一句话总结

本文提出了一种神经共指消解系统，通过学习共指聚类对的密集分布式表示来提升实体级别的推理能力。采用一种学习搜索框架，模型基于这些表示逐步合并聚类，仅使用极少的手工特征，就在英语和中文CoNLL 2012数据集上取得了SOTA的F1分数，分别为65.29和63.66。

ABSTRACT

A long-standing challenge in coreference resolution has been the incorporation of entity-level information - features defined over clusters of mentions instead of mention pairs. We present a neural network based coreference system that produces high-dimensional vector representations for pairs of coreference clusters. Using these representations, our system learns when combining clusters is desirable. We train the system with a learning-to-search algorithm that teaches it which local decisions (cluster merges) will lead to a high-scoring final coreference partition. The system substantially outperforms the current state-of-the-art on the English and Chinese portions of the CoNLL 2012 Shared Task dataset despite using few hand-engineered features.

研究动机与目标

• 为解决共指消解中常被忽略的实体级别信息整合问题，尤其针对基于提及对的系统。
• 开发一种神经网络，学习共指聚类对的高维连续表示，以捕捉复杂的实体级别关系。
• 使用一种学习搜索算法进行模型训练，使其能够做出局部最优的合并决策，从而获得全局高质量的共指划分。
• 证明实体级别的分布式表示能显著提升多种语言上的共指消解性能，尤其在防止错误的大规模聚类合并方面。
• 提供一种可扩展、低特征工程的系统，能够良好泛化至中文等低资源语言。

提出的方法

• 系统使用基于前馈神经网络的提及对编码器，生成提及对的分布式表示，输入包括词嵌入、句法特征和距离特征。
• 通过聚合两个聚类之间所有提及对表示的池化操作，生成聚类对表示，以捕捉聚类间的关联关系。
• 利用学习到的神经网络对聚类对表示进行评分，实现聚类合并候选的排序，使模型能够判断哪些合并是有益的。
• 采用受SEARN启发的学习搜索算法进行训练，模拟逐步合并过程，并将最终的共指得分反向传播，以指导局部合并决策。
• 首先训练提及排序模型，并用于初始化聚类排序模型，同时用于剪枝候选聚类合并集合，提升效率。
• 集成一种“先易后难”的聚类排序策略，优先处理高置信度的合并，从而在性能上优于标准聚类排序方法。

实验结果

研究问题

• RQ1 共指聚类对的可学习、连续且高维的表示是否能超越提及级别的特征，提升共指消解性能？
• RQ2 通过神经表示整合实体级别信息，是否能提升共指消解基准测试中的泛化能力与性能表现？
• RQ3 学习搜索框架能否有效训练一种增量式共指系统，使其做出局部最优的合并决策并获得全局高质量的划分？
• RQ4 与提及排序模型及先前SOTA系统相比，采用实体级别表示的聚类排序模型在多语言共指任务中的性能如何？
• RQ5 “先易后难”策略在多大程度上提升了聚类排序共指系统的表现？

主要发现

• 聚类排序模型在英语CoNLL 2012测试集上取得了65.29的CoNLL F1分数，显著优于此前SOTA方法。
• 在中文CoNLL 2012测试集上，系统取得了63.66的CoNLL F1分数，相较于先前方法有显著提升。
• 聚类排序模型相比提及排序模型有显著性能优势，证明了实体级别表示在共指消解中的价值。
• 该优势在CEAFφ4指标上最为明显，该指标对大聚类间的错误合并施加了更强惩罚，表明模型有效避免了有害的合并。
• “先易后难”策略的引入进一步提升了性能，表明优先处理高置信度合并能增强聚类排序的有效性。
• 该系统在极少手工特征的情况下取得优异结果，表明其具备强大的泛化能力，并有潜力推广至低资源语言。