[论文解读] Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web

Kalpa Gunaratna, Yu Wang+1 more|arXiv (Cornell University)|Mar 29, 2021

Topic Modeling参考文献 39被引用 5

一句话总结

本文提出实体上下文图（Entity Context Graph, ECG），一种直接从半结构化文本源（如维基百科和产品目录）学习高质量实体嵌入的方法，无需依赖预存在的知识图谱。通过提取上下文三元组——即通过自然语言描述关联的实体对——该方法实现了简单、自动且可扩展的嵌入学习，其性能与基于知识图谱或上下文语言模型的方法相当甚至更优，尤其在与知识图谱数据联合微调时表现更佳。

ABSTRACT

Knowledge is captured in the form of entities and their relationships and stored in knowledge graphs. Knowledge graphs enhance the capabilities of applications in many different areas including Web search, recommendation, and natural language understanding. This is mainly because, entities enable machines to understand things that go beyond simple tokens. Many modern algorithms use learned entity embeddings from these structured representations. However, building a knowledge graph takes time and effort, hence very costly and nontrivial. On the other hand, many Web sources describe entities in some structured format and therefore, finding ways to get them into useful entity knowledge is advantageous. We propose an approach that processes entity centric textual knowledge sources to learn entity embeddings and in turn avoids the need for a traditional knowledge graph. We first extract triples into the new representation format that does not use traditional complex triple extraction methods defined by pre-determined relationship labels. Then we learn entity embeddings through this new type of triples. We show that the embeddings learned from our approach are: (i) high quality and comparable to a known knowledge graph-based embeddings and can be used to improve them further, (ii) better than a contextual language model-based entity embeddings, and (iii) easy to compute and versatile in domain-specific applications where a knowledge graph is not readily available

研究动机与目标

• 开发一种可扩展、自动化的实体嵌入学习方法，无需依赖预存在的、高成本的知识图谱。
• 解决传统知识图谱三元组抽取方法的局限性，这些方法依赖于刚性模式、预定义关系和人工整理。
• 证明上下文三元组——即通过自然语言描述关联实体的三元组——可作为表示学习中结构化知识图谱三元组的可行且灵活的替代方案。
• 表明基于ECG的嵌入在性能上可与最先进的基于知识图谱和上下文语言模型的嵌入方法相媲美。
• 在结构化知识图谱不可用或不切实际的场景下，实现领域特定和应用定制化的实体表示学习。

提出的方法

• 从半结构化源（如维基百科信息框、产品页面）中提取实体对及其自然语言关系描述，构成上下文三元组。
• 将关系表示为非固定标签，而是原始文本短语（例如“出生于”），以实现关系上下文的动态编码。
• 构建实体上下文图（ECG）作为异构图，其中节点为实体，边为带有描述性标签的上下文三元组。
• 在ECG上使用图神经网络或类似表示学习框架训练实体嵌入，并采用动态关系编码器处理文本关系。
• 将ECG嵌入与现有知识图谱三元组联合微调，以在不需源数据对齐的情况下提升整体嵌入质量。
• 使用通用工具（如DBpedia Spotlight）进行实体链接，以及使用方面挖掘技术进行消歧，以实现领域无关的ECG构建。

实验结果

研究问题

• RQ1 从半结构化文本源中的上下文三元组学习到的实体嵌入，能否达到与从正式知识图谱中学习到的嵌入质量相当？
• RQ2 在实体表示学习中，基于ECG的嵌入学习方法与最先进的上下文语言模型（如ERNIE）相比如何？
• RQ3 在多源联合训练设置中，ECG能否增强现有的基于知识图谱的嵌入？
• RQ4 ECG构建流程在涵盖维基百科和产品评论等多样化真实数据源时，其鲁棒性和可扩展性如何？
• RQ5 ECG在结构化知识图谱不可用的领域特定应用中，其适用程度如何？

主要发现

• 基于ECG的实体嵌入在标准基准测试上达到与最先进的基于知识图谱的表示学习方法相当的性能。
• 当在相同维基百科语料库上进行训练时，该方法在性能上优于基于上下文语言模型的方法（ERNIE），证明了图结构化上下文的优势。
• ECG方法在FB15k上的Hits@10得分为70%，在Amazon评论数据集上为67%，表明其在top-k预测任务中表现优异。
• ECG与知识图谱嵌入的联合训练可提升基于知识图谱嵌入的质量，表明两种数据源具有互补优势。
• ECG框架具有高度通用性，可适用于新闻文章、产品目录等多种半结构化源，且仅需极少定制化调整。
• 该方法计算效率高且完全自动化，避免了传统知识图谱构建中常见的高成本、复杂三元组抽取流程。