[论文解读] Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding

Peifeng Wang, Jialong Han+2 more|arXiv (Cornell University)|Nov 4, 2018

Advanced Graph Neural Networks参考文献 27被引用 10

一句话总结

本文提出逻辑注意力网络（LAN），一种用于归纳知识图嵌入的新型邻域聚合器，通过结合逻辑规则与神经注意力机制，解决排列不变性、冗余感知和查询关系感知问题。LAN在链接预测和三元组分类任务上优于基线模型，展现出在稀疏知识图上的优越鲁棒性，并在案例研究中实现有效的邻居加权。

ABSTRACT

Knowledge graph embedding aims at modeling entities and relations with low-dimensional vectors. Most previous methods require that all entities should be seen during training, which is unpractical for real-world knowledge graphs with new entities emerging on a daily basis. Recent efforts on this issue suggest training a neighborhood aggregator in conjunction with the conventional entity and relation embeddings, which may help embed new entities inductively via their existing neighbors. However, their neighborhood aggregators neglect the unordered and unequal natures of an entity's neighbors. To this end, we summarize the desired properties that may lead to effective neighborhood aggregators. We also introduce a novel aggregator, namely, Logic Attention Network (LAN), which addresses the properties by aggregating neighbors with both rules- and network-based attention weights. By comparing with conventional aggregators on two knowledge graph completion tasks, we experimentally validate LAN's superiority in terms of the desired properties.

研究动机与目标

• 为解决在训练过程中未见过的新兴实体在知识图中的嵌入问题。
• 识别有效邻域聚合器的三个关键属性：排列不变性、冗余感知和查询关系感知。
• 设计一种新型聚合器——逻辑注意力网络（LAN），以满足全部三项属性。
• 验证LAN在归纳知识图补全任务中相对于传统聚合器的优越性。

提出的方法

• LAN采用两级注意力机制：粗粒度的基于逻辑规则的注意力用于加权关系，细粒度的神经注意力用于加权单个邻居。
• 逻辑规则机制基于预定义的关系间逻辑依赖（如传递性或对称性）分配初始注意力权重。
• 邻居级别的神经注意力利用查询关系嵌入对权重进行精细化调整，实现查询感知的聚合。
• 最终实体表示为邻居嵌入的加权和，注意力权重通过可微机制计算，确保排列不变性。
• 模型通过链接预测和三元组分类的评分函数进行端到端训练。
• 该框架支持归纳推理：未见过的实体通过仅聚合其可观测邻居并使用学习到的聚合器进行嵌入。

实验结果

研究问题

• RQ1 能否设计一种知识图邻域聚合器，使其对邻居排列顺序保持不变？
• RQ2 如何有效利用邻域事实中的冗余信息以提升嵌入质量？
• RQ3 在归纳知识图嵌入中，融入查询关系信息能在多大程度上提升性能？
• RQ4 逻辑规则与神经注意力能否结合使用，以在邻居聚合中超越纯神经或纯规则方法？
• RQ5 所提出方法在包含大量未见实体的稀疏知识图上表现如何？

主要发现

• LAN在链接预测和三元组分类任务上显著优于MEAN和LSTM基线模型，且在所有评估指标上均保持一致的性能提升。
• 消融实验表明，仅使用逻辑规则机制即可获得比单纯依赖神经注意力更大的性能增益，证明了符号知识的有效性。
• Query-Attention（融合查询关系信息）优于Global-Attention和MEAN，证实了查询感知在邻居聚合中的重要性。
• 随着未见实体比例的增加，LAN保持相对稳定的性能，表明其在稀疏知识图上相比MEAN和LSTM具有更强的鲁棒性。
• 案例研究证实，LAN为语义相关关系和更具信息量的实体分配更高的注意力权重，与人类推理逻辑一致。