[論文レビュー] Inductive Logical Query Answering in Knowledge Graphs

Mikhail Galkin, Zhaocheng Zhu+2 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、再訓練を必要とせずに未知のエンティティに一般化できる2つの帰納的クエリ回答手法—NodePiece-QE および GNN-QE—を提案する。グラフニューラルネットワークを用いてエンティティおよび関係の構造表現を帰納的に学習することで、モデルは強力なゼロショット一般化を達成し、学習済みグラフよりも最大500%大きいグラフに対しても、複雑な論理的クエリを回答可能となる。GNN-QEは高い精度を示し、NodePiece-QEは100万エンティティのグラフにおいてスケーラブルな推論を可能にする。

ABSTRACT

Formulating and answering logical queries is a standard communication interface for knowledge graphs (KGs). Alleviating the notorious incompleteness of real-world KGs, neural methods achieved impressive results in link prediction and complex query answering tasks by learning representations of entities, relations, and queries. Still, most existing query answering methods rely on transductive entity embeddings and cannot generalize to KGs containing new entities without retraining the entity embeddings. In this work, we study the inductive query answering task where inference is performed on a graph containing new entities with queries over both seen and unseen entities. To this end, we devise two mechanisms leveraging inductive node and relational structure representations powered by graph neural networks (GNNs). Experimentally, we show that inductive models are able to perform logical reasoning at inference time over unseen nodes generalizing to graphs up to 500% larger than training ones. Exploring the efficiency--effectiveness trade-off, we find the inductive relational structure representation method generally achieves higher performance, while the inductive node representation method is able to answer complex queries in the inference-only regime without any training on queries and scales to graphs of millions of nodes. Code is available at https://github.com/DeepGraphLearning/InductiveQE.

研究の動機と目的

• 更新済みまたは新しい知識グラフにおける未知のエンティティに一般化できない推論モデルの限界を解消すること。
• 新しいノードが追加された際にも再訓練を必要としない帰納的メソッドを開発し、エンティティおよび関係の表現を学習すること。
• 学習グラフよりもはるかに大きなグラフにおいて、論理的結合、否定、存在記述などの複雑なクエリを扱える論理的推論を可能にすること。
• 帰納的ノードベース手法と関係構造ベース手法の間の効率性–効果性トレードオフを評価すること。

提案手法

• NodePiece-QEは、エンティティを固定サイズのトークン語彙の関数として表現することで、エンティティ埋め込みを必要とせずに推論を可能にする、NodePieceモデルの帰納的クエリ回答への拡張である。
• 非パrametricな論理的クエリ実行エンジンを用い、潜在空間で積集合、和集合、否定などの操作を実行し、クエリ専用のトレーニングなしに推論モードをサポートする。
• GNN-QEは、エンティティ埋め込みを必要とせず、グラフ構造そのものに直接作用するGNNを用いて、帰納的な関係構造表現を学習する。パスに基づく関係を捉える。
• PNAアグリゲーションとDistMult合成を用いたGNNが、複雑なクエリ上で端末から端末まで訓練される関係パターンを符号化する。
• クエリ実行中にスコアを組み合わせる際に、微分可能なtノルム（例：積 + シグモイド）を用い、損失はBCEとネガティブサンプリングにより最適化される。
• 本手法は、CQD-BeamやWikiKG-QEを含む10のデータセットからなる新規ベンチマークで評価され、スケーラビリティおよび一般化性に関するアブレーションが実施された。

実験結果

リサーチクエスチョン

• RQ1 帰納的クエリ埋め込みモデルは、学習グラフよりも最大500%大きい知識グラフに対しても一般化可能か？
• RQ2 性能とスケーラビリティの観点から、帰納的ノード表現と帰納的関係構造表現の間にはどのような差があるか？
• RQ3 微調整や再訓練なしに、完全に未知のエンティティに対して複雑な論理的クエリを回答可能か？
• RQ4 知識グラフに新しいノードやエッジが追加された際に、帰納的モデルが新しい正しい答えをどの程度発見できるか？
• RQ5 スケーラビリティに優れるNodePiece-QEと、より高い精度を示すGNN-QEの間の、帰納的設定における効率性–効果性トレードオフはどのように現れるか？

主な発見

• NodePiece-QEおよびGNN-QEの両手法は、未知のエンティティに対して複雑な論理的クエリを回答する上で非自明な性能を示し、帰納的クエリ回答の実現可能性を確認した。
• モデルは、学習グラフよりも最大500%大きいグラフに対しても一般化可能であり、顕著な分布外一般化能力を示した。
• Feynman や Princeton などの新しいノードがグラフに追加された際、帰納的モデルは以前に見たクエリに対して、新たな正しい答えを正しく特定した。これは、更新可能なデータベースを模倣するものである。
• NodePiece-QEは200万ノードおよび50万の未学習ノードを含むグラフでスケーリング可能であり、クエリ固有のトレーニングなしに推論オンativeなクエリ回答を可能にした。
• GNN-QEは、複雑なクエリ上で端末から端末まで訓練されているため、NodePiece-QEよりも高い性能を示したが、非常に大きなグラフではスケーラビリティの課題を抱えた。
• エッジタイプヒューリスティックベースラインは単純であるが、関係タイプに基づいてエンティティをフィルタリングすることで強力なベースラインを提供し、構造的帰納バイアスの重要性を示した。