[论文解读] Toward Socially-Infused Information Extraction: Embedding Authors, Mentions, and Entities

Yi Yang, Ming‐Wei Chang+1 more|arXiv (Cornell University)|Sep 26, 2016

Topic Modeling参考文献 30被引用 4

一句话总结

该论文提出Ntel，一种神经结构化预测模型，通过在共享向量空间中联合嵌入作者、提及和实体，并利用实体同质性原则建模社交网络结构，从而提升推文实体链接性能。通过将分布式社交关系表示、提及语义和实体知识与前馈神经网络及损失增强解码相结合，该模型在基准数据集上的平均F1值相比先前最先进系统提升了3%。

ABSTRACT

Entity linking is the task of identifying mentions of entities in text, and linking them to entries in a knowledge base. This task is especially difficult in microblogs, as there is little additional text to provide disambiguating context; rather, authors rely on an implicit common ground of shared knowledge with their readers. In this paper, we attempt to capture some of this implicit context by exploiting the social network structure in microblogs. We build on the theory of homophily, which implies that socially linked individuals share interests, and are therefore likely to mention the same sorts of entities. We implement this idea by encoding authors, mentions, and entities in a continuous vector space, which is constructed so that socially-connected authors have similar vector representations. These vectors are incorporated into a neural structured prediction model, which captures structural constraints that are inherent in the entity linking task. Together, these design decisions yield F1 improvements of 1%-5% on benchmark datasets, as compared to the previous state-of-the-art.

研究动机与目标

• 解决在上下文线索有限的短文本、嘈杂的微博文本中进行实体消歧的挑战。
• 将社交网络结构作为隐式上下文信息的来源，用于实体链接。
• 在神经结构化预测框架中建模同质性原则——即社交关联用户倾向于对相似实体感兴趣。
• 通过神经组合方式结合作者、提及和实体的分布式表示与表面特征，提升性能。
• 开发一种结构化推理机制，利用动态规划避免序列中提及预测的重叠。

提出的方法

• 该模型使用基于图的嵌入方法在社交网络（关注、提及和转发链接）上学习作者、提及和实体的低维向量表示。
• 通过神经网络组合这些表示，以建模作者、提及和实体嵌入之间的交互，捕捉用于消歧的社会上下文。
• 利用前馈神经网络非线性组合来自知识库（如实体流行度、维基百科页面浏览量）的表面特征。
• 通过动态规划执行结构化预测，以确保序列中提及预测不重叠。
• 采用损失增强解码（一种大间隔学习技术）进行模型训练，以优化F1分数。
• 最终系统Ntel将所有组件整合为一个端到端可训练的推文实体链接架构。

实验结果

研究问题

• RQ1 社交网络结构是否能提升在上下文有限的短文本（如推文）中的实体消歧？
• RQ2 建模社交关联用户间实体兴趣的同质性在多大程度上能提升链接准确性？
• RQ3 联合嵌入作者、提及和实体在捕捉表面特征之外的消歧上下文方面有多有效？
• RQ4 分布式表示的神经组合是否能在推文实体链接中超越传统基于特征的模型？
• RQ5 引入社交上下文是否能减少对模糊提及（如“Giants”或“Kim”）的链接错误？

主要发现

• Ntel模型在两个基准数据集（NEEL和TACL）上相比先前最先进方法实现了平均3%的F1值提升。
• 用户-实体组合模型显著改善了对高度模糊提及（如“Sox”、“Sanders”和“Memphis”）的消歧，减少了错误链接到错误实体的情况。
• 提及-实体组合模型纠正了表面特征错误地将非实体（如“sec”）链接到热门实体（如东南联盟）的错误。
• 社交网络信息使系统能将“Kim”正确消歧为Lil’ Kim，而非更受欢迎的金·卡戴珊，尽管后者维基百科浏览量更高。
• 通过利用社交关系中的隐式共享知识，系统在低上下文环境下表现出鲁棒性。
• 社交、提及和实体嵌入的整合带来了更高的召回率，并更好地处理罕见或模糊实体。