[论文解读] DOLORES: Deep Contextualized Knowledge Graph Embeddings

Haoyu Wang, Vivek Kulkarni+1 more|arXiv (Cornell University)|Oct 31, 2018

Advanced Graph Neural Networks参考文献 28被引用 15

一句话总结

Dolores 提出了一种基于双向LSTM的深度上下文知识图嵌入方法，通过从实体-关系链中学习实体和关系的表示，捕捉上下文无关和上下文相关的语义。与传统的浅层模型（如TransE）相比，该方法通过建模更丰富的上下文依赖关系，在链接预测、三元组分类和缺失关系类型预测任务上显著提升了最先进性能，提升幅度高达9.5%。

ABSTRACT

We introduce a new method DOLORES for learning knowledge graph embeddings that effectively captures contextual cues and dependencies among entities and relations. First, we note that short paths on knowledge graphs comprising of chains of entities and relations can encode valuable information regarding their contextual usage. We operationalize this notion by representing knowledge graphs not as a collection of triples but as a collection of entity-relation chains, and learn embeddings for entities and relations using deep neural models that capture such contextual usage. In particular, our model is based on Bi-Directional LSTMs and learn deep representations of entities and relations from constructed entity-relation chains. We show that these representations can very easily be incorporated into existing models to significantly advance the state of the art on several knowledge graph prediction tasks like link prediction, triple classification, and missing relation type prediction (in some cases by at least 9.5%).

研究动机与目标

• 解决现有知识图嵌入方法无法捕捉实体与关系之间上下文依赖关系的局限性。
• 开发一种基于深度学习的方法，通过实体-关系链的序列表示建模上下文使用。
• 提升知识图预测任务（如链接预测、三元组分类和缺失关系类型预测）的性能。
• 使上下文嵌入可作为即插即用的替代方案集成到现有预测模型中。
• 探索多层表示在迁移学习和下游自然语言处理任务中的实用性。

提出的方法

• 不将知识图表示为孤立的三元组，而是将其转化为从截断随机游走生成的实体-关系链序列。
• 使用双向LSTM编码这些链，学习实体和关系的深度上下文嵌入表示。
• 从LSTM多个层的隐藏状态中提取上下文无关和上下文相关的嵌入表示。
• 利用不同LSTM层的层次化表示，捕捉不同程度的抽象。
• 将学习到的嵌入作为下游知识图预测模型的输入特征。
• 使用序列链上的语言建模目标，端到端训练模型。

实验结果

研究问题

• RQ1 深度神经序列模型能否有效学习知识图中实体和关系的上下文嵌入表示？
• RQ2 与传统上下文无关嵌入相比，序列建模获得的上下文相关嵌入在预测任务中的表现如何？
• RQ3 Dolores嵌入在多大程度上能提升现有知识图预测模型的性能？
• RQ4 哪些类型的实体或关系最受益于上下文嵌入表示？
• RQ5 深度模型的多层表示能否在知识图任务中有效用于迁移学习？

主要发现

• 与TransE等基线模型相比，Dolores在链接预测任务上的性能最高提升9.5%，尤其在food、user和olympics等特定关系类型上表现更优。
• 对于Lou Costello或Cabaret等特定头实体的三元组，Dolores的平均排名显著优于TransE，表明其在建模实体特定上下文方面更具优势。
• 模型在广泛且通用的关系（如'common'、'base'或'media_common'）上表现最差，因缺乏区分性特征，正确预测尾实体仍具挑战。
• 上下文相关嵌入能有效将实体按国籍（如Austrians、Germans）和居住地（如Vienna）聚类，准确地将Beethoven和Brahms定位在德奥音乐家中之间。
• 来自多层LSTM的深度层次化表示捕捉了不同程度的抽象，实现了比浅层模型更丰富的建模能力。
• Dolores嵌入可无缝集成到现有模型中作为即插即用的替代方案，在不改变架构的前提下提升性能。