[論文レビュー] Logical Message Passing Networks with One-hop Inference on Atomic Formulas

Zihao Wang, Yangqiu Song+2 more|arXiv (Cornell University)|Jan 21, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、事前学習済み知識グラフ埋め込みとニューラル集合演算子を分離することで、不完全な知識グラフ上での複雑なクエリ解決のための新規フレームワークである論理的メッセージパッシングニューラルネットワーク（LMPNN）を提案する。LMPNNはクエリをクエリグラフとして定式化し、既存のKG埋め込みを用いて原子的論理式に対して1ステップ推論を実行し、それらを「論理的メッセージ」としてメッセージパッシング機構を通じて集約することで、グローバルな論理的推論を可能にする。最小限の学習可能なパラメータで最先端の性能を達成している。

ABSTRACT

Complex Query Answering (CQA) over Knowledge Graphs (KGs) has attracted a lot of attention to potentially support many applications. Given that KGs are usually incomplete, neural models are proposed to answer the logical queries by parameterizing set operators with complex neural networks. However, such methods usually train neural set operators with a large number of entity and relation embeddings from the zero, where whether and how the embeddings or the neural set operators contribute to the performance remains not clear. In this paper, we propose a simple framework for complex query answering that decomposes the KG embeddings from neural set operators. We propose to represent the complex queries into the query graph. On top of the query graph, we propose the Logical Message Passing Neural Network (LMPNN) that connects the local one-hop inferences on atomic formulas to the global logical reasoning for complex query answering. We leverage existing effective KG embeddings to conduct one-hop inferences on atomic formulas, the results of which are regarded as the messages passed in LMPNN. The reasoning process over the overall logical formulas is turned into the forward pass of LMPNN that incrementally aggregates local information to finally predict the answers' embeddings. The complex logical inference across different types of queries will then be learned from training examples based on the LMPNN architecture. Theoretically, our query-graph represenation is more general than the prevailing operator-tree formulation, so our approach applies to a broader range of complex KG queries. Empirically, our approach yields the new state-of-the-art neural CQA model. Our research bridges the gap between complex KG query answering tasks and the long-standing achievements of knowledge graph representation learning.

研究の動機と目的

• 既存のニューラルモデルが事前学習済みKG埋め込みの長所を十分に活用できない、不完全な知識グラフ（KG）上での複雑なクエリ解決（CQA）の課題に対処すること。
• KG埋め込みとニューラル集合演算子を分離することで、CQA性能に与える両者の寄与を明確にすること。
• シンボリックな論理的推論とニューラルメッセージパッシングを、事前学習済み表現を用いて統合するスケーラブルで効果的なフレームワークを構築すること。
• 原子的論理式の局所的1ステップ推論をグローバル論理的推論に集約することで、エンドツーエンドで訓練可能なニューラルモデルを実現すること。
• 1ステップ推論に基づく単純でモジュール的なアーキテクチャが、CQAタスクにおいて複雑なニューラル集合演算子を凌駆することを示すこと。

提案手法

• 本稿では、複雑なEFO-1クエリを標準形（DNF）に表現し、各エッジが述語とオプションの否定を伴う原子的論理式に対応するクエリグラフとしてモデル化する。
• 各原子的論理式に対して、事前学習済みKG埋め込み（例：TransE, RotatE）を用いて、出発エンティティ、関係、方向、および否定を考慮して中間エンティティ埋め込みを計算することで1ステップ推論を実行する。
• これらの中間結果は、クエリグラフ内のノード間を渡される「論理的メッセージ」として解釈される。
• 論理的メッセージパッシングニューラルネットワーク（LMPNN）は、マルチレイヤーパーセプトロン（MLP）を用いてこれらのメッセージを集約し、ノード埋め込みを段階的に更新する。
• 最終的な答え埋め込みは、LMPNNを前向き伝搬することで予測され、これは全論理的推論プロセスを微分可能なメッセージパッシング計算としてモデル化する。
• フレームワークは複雑なクエリ上でエンドツーエンドで訓練され、主な革新点は局所的推論に事前学習済みKG埋め込みを、メッセージ集約と最終予測にはニューラルネットワークのみを用いることにある。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みKG埋め込みを用いた1ステップ推論を、スケーラブルで正確なニューラルCQAモデルの構築に効果的に利用できるか？
• RQ2 KG埋め込みとニューラル集合演算子を分離することで、複雑なクエリ解決における性能と解釈可能性が向上するか？
• RQ3 クエリグラフベースのメッセージパッシングアーキテクチャが、オペレータツリーに基づくニューラルモデルを上回る性能を発揮できるか？
• RQ4 提案されたLMPNNフレームワークは、既存のニューラルおよびシンボリックCQA手法と比較して、性能と効率の両面で優れているか？
• RQ5 最小限の学習可能なパラメータ（例：NELLでは1%）を用いて、CQAで最先端の結果を達成できる程度に至るか？

主な発見

• LMPNNはFB15k-237およびNELLの両データセットで最先端の性能を達成し、すべての標準的EFO-1クエリタイプにおいて既存のニューラルCQAモデルを上回っている。
• FB15k-237では、すべてのクエリに対して平均逆順位（MRR）24.1%を達成し、同じ設定でGNN-QE（26.8%）とENeSy（24.5%）を上回っている。
• NELLでは、MRRが30.7%に達し、学習可能なパラメータをわずか1%に抑えたにもかかわらず、GNN-QE（28.9%）とENeSy（29.4%）を上回っている。
• LMPNNは優れたスケーラビリティを示しており、バッチサイズ1024でもGPUメモリを10GB未満で使用するが、GNN-QEはバッチサイズ32でも128GBを必要としている。
• モデルの性能は、学習可能なパラメータが極めて少ない状況でも安定しており、主な学習能力は事前学習済みKG埋め込みと論理的メッセージ集約に起因していることが示唆される。
• 結果から、シンボリック推論とニューラルメッセージパッシングを統合することは非常に有効であり、LMPNNはシンボリック統合手法と互換性があるため、今後のハイブリッドモデルの開発に道を開く。