[论文解读] Learning Entity Linking Features for Emerging Entities

Chenwei Ran, Wei Shen+4 more|arXiv (Cornell University)|Aug 8, 2022

Topic Modeling被引用 4

一句话总结

本文提出 STAMO，一种自训练方法，可为缺乏维基百科覆盖的新兴实体（EEs）学习高质量的实体链接（EL）特征。通过将自训练视为一种多槽优化过程，结合槽内与槽间优化，STAMO 有效缓解了错误传播问题，并仅使用少量标注文档和无标注网络数据，显著提升了 EEs 的 EL 性能。

ABSTRACT

Entity linking (EL) is the process of linking entity mentions appearing in text with their corresponding entities in a knowledge base. EL features of entities (e.g., prior probability, relatedness score, and entity embedding) are usually estimated based on Wikipedia. However, for newly emerging entities (EEs) which have just been discovered in news, they may still not be included in Wikipedia yet. As a consequence, it is unable to obtain required EL features for those EEs from Wikipedia and EL models will always fail to link ambiguous mentions with those EEs correctly as the absence of their EL features. To deal with this problem, in this paper we focus on a new task of learning EL features for emerging entities in a general way. We propose a novel approach called STAMO to learn high-quality EL features for EEs automatically, which needs just a small number of labeled documents for each EE collected from the Web, as it could further leverage the knowledge hidden in the unlabeled data. STAMO is mainly based on self-training, which makes it flexibly integrated with any EL feature or EL model, but also makes it easily suffer from the error reinforcement problem caused by the mislabeled data. Instead of some common self-training strategies that try to throw the mislabeled data away explicitly, we regard self-training as a multiple optimization process with respect to the EL features of EEs, and propose both intra-slot and inter-slot optimizations to alleviate the error reinforcement problem implicitly. We construct two EL datasets involving selected EEs to evaluate the quality of obtained EL features for EEs, and the experimental results show that our approach significantly outperforms other baseline methods of learning EL features.

研究动机与目标

• 解决新兴实体（EEs）因尚未收录于维基百科而无法获取必要 EL 特征（如先验概率和嵌入表示）所导致的实体链接（EL）失败问题。
• 克服人工标注的局限性以及现有基于检索的方法在为 EEs 生成强 EL 特征方面的不足。
• 提出一种通用方法，仅利用少量标注文档和大量无标注网络数据，自动学习高质量的 EEs EL 特征。
• 通过结构化优化隐式精炼 EL 特征，而非丢弃误标数据，缓解自训练中的错误强化问题。

提出的方法

• 提出 STAMO，一种自训练框架，从少量标注文档和大规模无标注网络数据中学习 EEs 的 EL 特征。
• 将自训练视为对 EEs 的 EL 特征进行多轮优化的过程，引入槽内优化以使 EL 特征与基础 EL 模型的目标函数对齐。
• 引入槽间优化，将当前 EL 特征学习与历史学习槽连接，实现在迭代过程中的知识迁移。
• 使用假设的优化过程建模 EL 特征随时间的演化，提升模型鲁棒性并减少错误累积。
• 可无缝集成到任意数值型 EL 特征（如先验概率、相关性得分、实体嵌入）或 EL 模型架构中。
• 利用学习过程的结构特性，隐式抑制噪声预测，而无需显式实例过滤。

实验结果

研究问题

• RQ1 当基于维基百科的特征不可用时，自训练能否有效适应以学习新兴实体的高质量 EL 特征？
• RQ2 如何在不丢弃误标数据的前提下缓解自训练中的错误强化问题？
• RQ3 槽内与槽间优化在多大程度上能提升 EEs 所学 EL 特征的质量？
• RQ4 仅使用少量标注文档结合无标注数据，能否实现与监督基线方法相当或更优的性能？
• RQ5 与标准自训练或基于置信度的过滤方法相比，所提出的优化策略在 EEs 上的鲁棒性与准确性如何？

主要发现

• STAMO 在学习新兴实体 EL 特征方面显著优于基线方法，在两个构建的 EL 数据集上均展现出卓越性能。
• 所提出的槽内优化能有效使学习到的 EL 特征与基础 EL 模型的目标函数对齐，从而提升特征质量。
• 槽间优化通过利用历史特征更新增强学习效果，减少迭代过程中的错误传播。
• 该方法仅需每新兴实体少数标注文档即可实现高质量的 EL 特征学习，监督需求极低。
• STAMO 通过优化实现的隐式错误缓解策略优于显式误标数据剔除方法，在实践中更具鲁棒性。
• 该方法具有良好的泛化能力，可灵活集成到任意数值型 EL 特征或 EL 模型架构中。