[论文解读] Collective Entity Disambiguation with Structured Gradient Tree Boosting

Yi Yang, Ozan İrsoy+1 more|arXiv (Cornell University)|Feb 28, 2018

Topic Modeling参考文献 34被引用 4

一句话总结

本文提出了一种结构化梯度提升树（SGTB）模型，用于集体实体消歧，通过利用先前决策生成的全局特征，联合优化文档中所有提及的实体分配。该研究引入了带有真实路径的双向束搜索（BiBSG）以实现高效的近似推理，在性能上达到当前最先进水平，包括在AIDA-CoNLL数据集上相较先前神经网络系统实现1%的绝对准确率提升。

ABSTRACT

We present a gradient-tree-boosting-based structured learning model for jointly disambiguating named entities in a document. Gradient tree boosting is a widely used machine learning algorithm that underlies many top-performing natural language processing systems. Surprisingly, most works limit the use of gradient tree boosting as a tool for regular classification or regression problems, despite the structured nature of language. To the best of our knowledge, our work is the first one that employs the structured gradient tree boosting (SGTB) algorithm for collective entity disambiguation. By defining global features over previous disambiguation decisions and jointly modeling them with local features, our system is able to produce globally optimized entity assignments for mentions in a document. Exact inference is prohibitively expensive for our globally normalized model. To solve this problem, we propose Bidirectional Beam Search with Gold path (BiBSG), an approximate inference algorithm that is a variant of the standard beam search algorithm. BiBSG makes use of global information from both past and future to perform better local search. Experiments on standard benchmark datasets show that SGTB significantly improves upon published results. Specifically, SGTB outperforms the previous state-of-the-art neural system by near 1\% absolute accuracy on the popular AIDA-CoNLL dataset.

研究动机与目标

• 为解决文档中多个实体提及的联合消歧挑战，提升整体一致性与准确率，超越局部消歧方法。
• 通过建模实体分配之间的全局依赖关系，将梯度提升树扩展至结构化预测任务。
• 开发一种高效的推理算法，利用过去与未来上下文信息，以优化SGTB训练过程。
• 证明SGTB在标准实体消歧基准测试中，优于现有系统，包括神经网络模型。

提出的方法

• SGTB模型采用全局归一化的条件随机场（CRF）目标函数，联合优化文档中所有提及的实体分配。
• 引入编码先前消歧决策历史的全局特征，实现文档级别的连贯性实体消解。
• 通过函数梯度下降进行训练，其中回归树被拟合至负函数梯度，以迭代优化打分函数。
• 提出双向束搜索与真实路径（BiBSG）作为近似推理算法，利用前向与后向上下文信息，提升搜索的稳定性和准确性。
• BiBSG通过在训练过程中生成更多点状函数梯度，增强模型方差缩减，改善收敛性与泛化能力。
• 通过结合局部提及-上下文特征与全局实体共现及一致性信号，将该框架应用于实体消歧任务。

实验结果

研究问题

• RQ1 结构化梯度提升树能否有效应用于集体实体消歧任务，其中提及间的全局一致性至关重要？
• RQ2 通过整合源自先前消歧决策的全局特征，能否提升实体分配的准确性？
• RQ3 像BiBSG这样的近似推理算法，是否能在训练稳定性和预测性能方面超越标准束搜索，适用于SGTB模型？
• RQ4 SGTB是否在标准实体消歧基准测试中达到最先进性能，包括在跨领域设置下？

主要发现

• SGTB在AIDA-CoNLL数据集上相较先前SOTA神经网络系统实现1%的绝对准确率提升，证明其性能更优。
• BiBSG推理算法通过在束搜索过程中同时利用过去与未来上下文信息，降低模型方差并提升搜索质量。
• 在CWEB数据集上，SGTB-BS的F1得分相较先前SOTA系统高出4%，凸显其在跨领域设置下的强大泛化能力。
• SGTB-BiBSG在多个数据集上表现一致，包括跨领域评估，表明其具备鲁棒性与泛化能力。
• 通过联合建模实体一致性，该模型显著优于局部消歧方法，证明结构化学习在实体消歧中的价值。