[论文解读] Event Linking: Grounding Event Mentions to Wikipedia

Xiaodong Yu, Wenpeng Yin+2 more|arXiv (Cornell University)|Dec 15, 2021

Wikis in Education and Collaboration被引用 4

一句话总结

本文提出事件链接（Event Linking）这一新颖的自然语言处理任务，旨在通过将文本中的事件提及与最相关的维基百科页面关联，以增强上下文理解。该研究提出EveLink模型，一种针对事件特化的链接模型，结合局部实体与类型信息，在领域内和领域外基准测试中均达到最先进性能，显著优于当前最先进实体链接模型，尤其在已见事件和简单案例上表现突出。

ABSTRACT

Comprehending an article requires understanding its constituent events. However, the context where an event is mentioned often lacks the details of this event. A question arises: how can the reader obtain more knowledge about this particular event in addition to what is provided by the local context in the article? This work defines Event Linking, a new natural language understanding task at the event level. Event linking tries to link an event mention appearing in an article to the most appropriate Wikipedia page. This page is expected to provide rich knowledge about what the event mention refers to. To standardize the research in this new direction, we contribute in four-fold. First, this is the first work in the community that formally defines Event Linking task. Second, we collect a dataset for this new task. Specifically, we automatically gather training set from Wikipedia, and then create two evaluation sets: one from the Wikipedia domain, reporting the in-domain performance, and a second from the real-world news domain, to evaluate out-of-domain performance. Third, we retrain and evaluate two state-of-the-art (SOTA) entity linking models, showing the challenges of event linking, and we propose an event-specific linking system EVELINK to set a competitive result for the new task. Fourth, we conduct a detailed and insightful analysis to help understand the task and the limitation of the current model. Overall, as our analysis shows, Event Linking is a considerably challenging and essential task requiring more effort from the community. Data and code are available here: https://github.com/CogComp/event-linking.

研究动机与目标

• 将事件链接正式确立为一项新型自然语言理解任务，与实体链接相区分，通过事件特异性知识对齐提升上下文理解能力。
• 收集并发布一个高质量、平衡的事件链接数据集，包含领域内（维基百科）和领域外（纽约时报）测试集，涵盖难例与易例。
• 评估现有最先进实体链接模型在事件链接任务上的局限性，并证明需要专用任务建模。
• 设计并实现EveLink模型，一种新颖的事件链接模型，通过整合事件参数（实体）与实体类型信息提升性能。
• 开展深入的错误分析，识别关键挑战，如时间歧义、无关上下文与子事件检测，为未来研究提供指导。

提出的方法

• 事件链接被定义为将文本中的事件提及（如动词或名词短语）链接到最相关的维基百科页面，以获取关于该事件的详细知识。
• 训练数据通过维基百科超链接自动收集，测试集则来自维基百科（领域内）和20年纽约时报文章（领域外），未在维基百科中出现的事件标注为"Nil"。
• EveLink通过编码事件触发词及其在局部上下文中的参数（实体），利用双编码器架构计算与维基百科标题的相似度，实现事件链接。
• 模型将实体类型作为额外特征引入，提升表示学习能力，增强在歧义或复杂事件上的性能表现。
• 采用50%的置信度阈值对低置信度预测进行"Nil"预测，尽管论文承认该策略为启发式方法，非最优解。
• 模型在训练集上进行微调，并使用准确率进行评估，同时通过消融实验分析实体与类型信息的贡献。

实验结果

研究问题

• RQ1 在结构、上下文依赖性与知识需求方面，事件链接与实体链接有何本质区别？
• RQ2 在真实新闻中，将事件与维基百科对齐的主要挑战是什么，尤其是当事件未被明确记录时？
• RQ3 现有最先进实体链接模型在事件链接任务上的表现如何？为应对事件特异性复杂性，还需哪些改进？
• RQ4 局部实体及其类型在多大程度上提升了事件链接性能？它们如何缓解歧义问题？
• RQ5 事件链接中的主要错误模式是什么？这些模式揭示了当前模型的哪些局限性，以及为何需要文档级或时间推理能力？

主要发现

• EveLink在事件链接基准测试中优于两项最先进实体链接模型（BLINK与GENRE），在维基百科测试集上准确率提升10.14个百分点，在纽约时报测试集上提升2.73个百分点。
• 在事件表示中引入局部实体，使领域内测试集准确率提升10.14个百分点，领域外测试集提升2.73个百分点。
• 增加实体类型信息后，维基百科测试集准确率进一步提升1.48个百分点，纽约时报测试集提升4.03个百分点，表明类型信息在领域外泛化中尤为关键。
• 主要错误模式涉及重复事件（如颁奖礼或体育赛事），模型在未明确提及年份时无法推断正确年份，凸显时间推理能力的不足。
• 大量错误源于无关的局部上下文——例如，与足球相关的实体会误导模型链接至体育赛事，而非历史事件（如第二次世界大战）——表明仅依赖上下文不足以实现准确链接。
• 仅在维基百科页面子章节中提及的子事件构成重大挑战，因模型无法访问完整文档上下文，提示未来工作需引入文档级建模。