[论文解读] A*Net: A Scalable Path-based Reasoning Approach for Knowledge Graphs

Zhaocheng Zhu, Xinyu Yuan+5 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

A*Net 通过学习一种受 A* 算法启发的神经优先级函数，提出了一种可扩展的、基于路径的知识图推理方法，实现了在消息传递过程中对关键节点和边的高效选择。该方法在 ogbl-wikikg2 上实现了最先进性能——处理百万规模知识图，仅使用 0.2% 的节点和边，优于所有先前的基于路径和嵌入的方法，且收敛速度更快。

ABSTRACT

Reasoning on large-scale knowledge graphs has been long dominated by embedding methods. While path-based methods possess the inductive capacity that embeddings lack, their scalability is limited by the exponential number of paths. Here we present A*Net, a scalable path-based method for knowledge graph reasoning. Inspired by the A* algorithm for shortest path problems, our A*Net learns a priority function to select important nodes and edges at each iteration, to reduce time and memory footprint for both training and inference. The ratio of selected nodes and edges can be specified to trade off between performance and efficiency. Experiments on both transductive and inductive knowledge graph reasoning benchmarks show that A*Net achieves competitive performance with existing state-of-the-art path-based methods, while merely visiting 10% nodes and 10% edges at each iteration. On a million-scale dataset ogbl-wikikg2, A*Net not only achieves a new state-of-the-art result, but also converges faster than embedding methods. A*Net is the first path-based method for knowledge graph reasoning at such scale.

研究动机与目标

• 解决基于路径的知识图推理方法面临的可扩展性瓶颈，这些方法因路径呈指数级增长而受限。
• 克服基于动态规划的方法中耗尽式或全图路径枚举的低效问题。
• 在大规模知识图上实现归纳推理，这些知识图目前由嵌入方法主导，但缺乏可解释性。
• 通过可配置的节点和边选择策略，实现性能与效率的平衡。
• 在不依赖知识图嵌入的情况下，实现在百万规模知识图上的最先进性能。

提出的方法

• 通过在每轮迭代中为节点和边学习一个神经优先级函数，将 A* 算法的基于优先级的搜索策略适配到知识图推理中。
• 在每轮迭代中，仅根据学习到的优先级分数选择 K 个节点和 L 条边，以降低计算成本。
• 在所选子图上执行消息传递，以更新节点表示，将计算聚焦于语义相关的路径。
• 通过推理任务的目标端到端训练优先级函数，无需额外监督或手工设计启发式规则。
• 通过调节所选节点和边的比例（例如总数量的 10% 或 0.2%），实现性能与效率之间的权衡。
• 利用路径语义的归纳偏差，实现对未见实体的泛化能力，这与基于嵌入的模型形成对比。

实验结果

研究问题

• RQ1 学习到的优先级函数能否引导基于路径的推理，在显著降低计算成本的同时实现高性能？
• RQ2 基于路径的推理能否扩展到百万规模知识图，而此前的方法因指数级路径增长而失效？
• RQ3 所提出的方法在大规模数据集上是否在准确率和收敛速度方面均优于最先进嵌入模型？
• RQ4 该方法能否通过突出显示有意义的推理路径来保持可解释性，而不同于黑箱嵌入模型？
• RQ5 通过控制每轮迭代中处理的节点和边的比例，性能与效率之间的权衡在多大程度上可调？

主要发现

• A*Net 在 ogbl-wikikg2 基准上实现了最先进性能，该知识图为百万规模，验证集 MRR 达到 0.786，超越所有先前的基于路径和嵌入的方法。
• 在 ogbl-wikikg2 上，A*Net 每轮仅使用 0.2% 的节点和 0.2% 的边，但收敛速度仍快于单张 A100 GPU 上的嵌入方法。
• 在 FB15k-237 和 WN18RR 等较小基准上，A*Net 在每轮仅处理 10% 的节点和边的情况下，性能与最先进基于路径的方法相当或更优。
• 该方法展现出强大的归纳泛化能力，能成功对未见实体进行推理，这是其相对于基于嵌入模型的关键优势。
• 可视化结果证实，A*Net 学习到了识别并优先选择语义上有意义的路径，提供了嵌入模型无法提供的可解释性。
• 训练时间与 MRR 曲线显示，该模型的收敛速度显著快于嵌入方法，在 ogbl-wikikg2 上表现突出。