[论文解读] Adaptive Attentional Network for Few-Shot Knowledge Graph Completion

Jiawei Sheng, Shu Guo+5 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Graph Neural Networks参考文献 30被引用 7

一句话总结

本文提出FAAN，一种用于少样本知识图谱补全的自适应注意力网络，通过自适应邻居编码和查询感知注意力，为实体和参考项学习动态、任务特定的表示。通过动态建模实体的角色和参考项的贡献，FAAN在两种公开数据集的各类少样本设置下均实现了最先进性能。

ABSTRACT

Few-shot Knowledge Graph (KG) completion is a focus of current research, where each task aims at querying unseen facts of a relation given its few-shot reference entity pairs. Recent attempts solve this problem by learning static representations of entities and references, ignoring their dynamic properties, i.e., entities may exhibit diverse roles within task relations, and references may make different contributions to queries. This work proposes an adaptive attentional network for few-shot KG completion by learning adaptive entity and reference representations. Specifically, entities are modeled by an adaptive neighbor encoder to discern their task-oriented roles, while references are modeled by an adaptive query-aware aggregator to differentiate their contributions. Through the attention mechanism, both entities and references can capture their fine-grained semantic meanings, and thus render more expressive representations. This will be more predictive for knowledge acquisition in the few-shot scenario. Evaluation in link prediction on two public datasets shows that our approach achieves new state-of-the-art results with different few-shot sizes.

研究动机与目标

• 为解决少样本知识图谱补全中静态实体和参考项表示的局限性。
• 通过基于任务上下文自适应调整邻居注意力，动态建模不同任务关系下实体的多样化角色。
• 通过学习查询感知注意力权重，区分参考项对查询的贡献差异。
• 通过捕捉实体和参考项的细粒度语义含义，提升少样本知识获取能力。
• 在低数据场景下实现对长尾关系更好的泛化能力和预测性能。

提出的方法

• FAAN采用自适应邻居编码器，根据任务关系动态分配实体一跳邻居的注意力权重，实现角色感知的实体表示。
• 模型使用堆叠的Transformer模块，捕捉任务关系在参考和查询三元组中的多义语义。
• 查询感知聚合器通过计算随查询变化的注意力权重，自适应聚合参考项，以区分其相关性。
• 注意力机制基于翻译假设构建，支持对任务特定语义的动态适应。
• 通过上下文加权邻居增强实体表示，通过与查询的动态匹配优化参考项表示。
• 最终预测通过匹配处理器完成，利用自适应注意力计算查询与候选实体之间的相关性。

实验结果

研究问题

• RQ1 如何使实体表示具备动态性，以反映其在不同任务关系中的多样化角色？
• RQ2 能否基于查询上下文自适应加权参考项表示，以提升少样本预测性能？
• RQ3 与静态表示相比，动态注意力建模是否能显著提升少样本知识图谱补全的性能？
• RQ4 模型在候选实体数量差异较大的关系上是否具备良好泛化能力？
• RQ5 在不同少样本设置下，模型能否超越现有最先进方法？

主要发现

• FAAN在NELL和Freebase数据集的少样本链接预测任务中均取得新的最先进结果。
• 在NELL数据集中，FAAN将MRR从MetaR的0.371提升至0.533，Hits@10从0.453提升至0.766（5-shot设置）。
• 对于候选集较大的关系（如10,569个候选），FAAN仍保持优异性能，Hits@10达0.128，优于MetaR的0.086。
• 模型在各类关系上表现稳健，在NELL测试集的11个关系ID中，有9个优于MetaR。
• 案例研究证实注意力权重可动态适应：与位置相关的查询更关注位置相关的参考项，与组织相关的查询则更关注组织相关的参考项。
• 自适应匹配处理器显著优于LSTM匹配和简单参考项选择（C1, C2）等基线方法，展现出更优的相关性计算能力。