[論文レビュー] A*Net: A Scalable Path-based Reasoning Approach for Knowledge Graphs

Zhaocheng Zhu, Xinyu Yuan+5 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

A*Netは、A*アルゴリズムにインspiredされたニューラル優先度関数を学習することで、知識グラフにおけるスケーラブルでパスベースの推論手法を導入した。この手法により、メッセージパッシング中に重要なノードやエッジを効率的に選択可能となり、ogbl-wikikg2（100万スケールの知識グラフ）で最先端の性能を達成。ノードとエッジの0.2%しか使用しないが、従来のパスベースおよび埋め込み手法を上回り、収束速度も速い。

ABSTRACT

Reasoning on large-scale knowledge graphs has been long dominated by embedding methods. While path-based methods possess the inductive capacity that embeddings lack, their scalability is limited by the exponential number of paths. Here we present A*Net, a scalable path-based method for knowledge graph reasoning. Inspired by the A* algorithm for shortest path problems, our A*Net learns a priority function to select important nodes and edges at each iteration, to reduce time and memory footprint for both training and inference. The ratio of selected nodes and edges can be specified to trade off between performance and efficiency. Experiments on both transductive and inductive knowledge graph reasoning benchmarks show that A*Net achieves competitive performance with existing state-of-the-art path-based methods, while merely visiting 10% nodes and 10% edges at each iteration. On a million-scale dataset ogbl-wikikg2, A*Net not only achieves a new state-of-the-art result, but also converges faster than embedding methods. A*Net is the first path-based method for knowledge graph reasoning at such scale.

研究の動機と目的

• パスベースの知識グラフ推論手法におけるスケーラビリティのボトル neck を解決すること。これは、指数的増加するパスの問題に起因する。
• 動的計画法に基づく手法における、全パスの列挙や全グラフ走査の非効率性を克服すること。
• 埋め込み手法が支配的であるが解釈不能である大規模知識グラフにおける誘導的推論を可能にすること。
• ノードおよびエッジの選択を調整可能な仕組みを提供することで、性能と効率のバランスを取ること。
• 知識グラフ埋め込みに依存せずに、100万スケールの知識グラフで最先端の結果を達成すること。

提案手法

• 各イテレーションでノードおよびエッジのニューラル優先度関数を学習することで、A*アルゴリズムの優先度ベース探索戦略を知識グラフ推論に適応する。
• 各イテレーションで、学習された優先度スコアに基づき、K個のノードとL本のエッジのみを選択して計算コストを削減する。
• 選択された部分グラフ上でメッセージパッシングを実行し、ノード表現を更新することで、意味的に関連のあるパスに計算リソースを集中させる。
• 追加の教師信号や手作業で設計されたヒューリスティクスを一切用いずに、推論タスクの目的関数に基づき、優先度関数をエンドツーエンドで学習する。
• 選択されるノードおよびエッジの比率（例：全数の10%または0.2%）を調整することで、性能と効率のトレードオフを可能にする。
• パスの意味的構造に起因する誘導的バイアスを活用し、埋め込みモデルとは異なり、未観測のエンティティに対しても一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 学習された優先度関数は、計算コストを著しく削減しながらも、高い性能を達成するパスベース推論を導けるか？
• RQ2 指数的増加するパスの問題により、従来の手法が失敗する100万スケールの知識グラフに対しても、パスベース推論はスケーラブルか？
• RQ3 提案手法は、大規模データセットにおいて、精度と収束速度の両面で最先端の埋め込みベース手法を上回るか？
• RQ4 埋め込みモデルとは異なり、意味のある推論パスを可視化することで、解釈可能性を維持できるか？
• RQ5 各イテレーションで処理するノードおよびエッジの割合を制御することで、性能をどの程度効率とトレードオフにできるか？

主な発見

• A*Netは、100万スケールの知識グラフである ogbl-wikikg2 ベンチマークで最先端の性能を達成し、検証MRRが0.786に達し、すべての従来のパスベースおよび埋め込みベース手法を上回った。
• ogbl-wikikg2において、A*Netは1イテレーションあたりノードの0.2%、エッジの0.2%しか使用しないが、1枚のA100 GPU上で埋め込み手法よりも速く収束した。
• FB15k-237 や WN18RR といったより小さなベンチマークでも、A*Netは10%のノードおよびエッジのみを1イテレーションあたり処理しながら、最先端のパスベース手法と同等またはそれを上回る性能を示した。
• 本手法は強力な誘導的一般化能力を示し、未観測のエンティティに対しても効果的に推論できた。これは、埋め込みベースモデルとは対照的である。
• 可視化により、A*Netが意味的に重要なパスを学習し、優先度を適切に付与していることが確認された。これは、埋め込みモデルにはない解釈可能性を提供する。
• ogbl-wikikg2における訓練時間対MRRの曲線から、A*Netの収束速度が埋め込み手法よりも顕著に速いことが示された。