[論文レビュー] Neural-Symbolic Models for Logical Queries on Knowledge Graphs

Zhaocheng Zhu, Mikhail Galkin+2 more|arXiv (Cornell University)|May 16, 2022

Advanced Graph Neural Networks被引用数 16

ひとこと要約

この論文では、不完全な知識グラフ上で複雑な1階論理（FOL）クエリに応答するため、グラフニューラルネットワーク（GNN）とファジーロジックを組み合わせたニューラルシンボリックモデル、GNN-QEを提案する。クエリを解釈可能なファジーチューリング集合演算に分解し、GNNを用いて関係の射影を実行することで、中間の推論を可視化可能にし、答えの数のゼロショット予測を可能にした。その結果、解釈性を高めつつ、最先端の性能を達成した。

ABSTRACT

Answering complex first-order logic (FOL) queries on knowledge graphs is a fundamental task for multi-hop reasoning. Traditional symbolic methods traverse a complete knowledge graph to extract the answers, which provides good interpretation for each step. Recent neural methods learn geometric embeddings for complex queries. These methods can generalize to incomplete knowledge graphs, but their reasoning process is hard to interpret. In this paper, we propose Graph Neural Network Query Executor (GNN-QE), a neural-symbolic model that enjoys the advantages of both worlds. GNN-QE decomposes a complex FOL query into relation projections and logical operations over fuzzy sets, which provides interpretability for intermediate variables. To reason about the missing links, GNN-QE adapts a graph neural network from knowledge graph completion to execute the relation projections, and models the logical operations with product fuzzy logic. Experiments on 3 datasets show that GNN-QE significantly improves over previous state-of-the-art models in answering FOL queries. Meanwhile, GNN-QE can predict the number of answers without explicit supervision, and provide visualizations for intermediate variables.

研究の動機と目的

• 欠落したリンクのためシンボリック手法が失敗する不完全な知識グラフ上で複雑なFOLクエリに応答する課題に対処すること。
• シンボリック推論の解釈性を保ちながら、不完全なグラフにおいてニューラルネットワークの一般化能力を活用するモデルを開発すること。
• 明示的な教師信号なしに答えの数を予測可能とし、中間推論ステップの可視化を可能とすること。
• 異なる微分可能で解釈可能な推論を維持しつつ、標準的なFOLクエリベンチマークで最先端の性能を達成すること。

提案手法

• 複雑なFOLクエリを、解釈可能なファジーチューリング集合演算と関係射影のシーケンスに分解し、中間変数の解釈可能性を実現する。
• 知識グラフ補完に適応されたグラフニューラルネットワーク（GNN）を用いて関係射影を実行し、頭部エンティティのファジーチューリング集合を、尾部エンティティのファジーチューリング集合にマッピングする。
• 積論理（product fuzzy logic）を用いて論理演算（論理積、論理和、論理否定）をモデル化し、論理法則を保持するとともに勾配ベース最適化を可能にする。
• GNNの正則化のためのトレバーシングドロップアウトを導入し、バッチ式式の実行を採用することで、学習と推論の高速化を実現する。
• バックプロパゲーションが論理演算およびエンティティ集合操作の各段階を通過できる微分可能なシンボリックフレームワークを採用する。
• 最終的な答えの教師信号に基づくエンドツーエンド学習を可能にしつつ、中間変数の可視化と答えの数の予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルシンボリックモデルは、不完全な知識グラフ上のFOLクエリに対して、ニューラルネットワークの一般化能力とシンボリック推論の解釈性を統合できるか？
• RQ2 そのモデルは、シンボリックな定式化を活用することで、明示的な教師信号なしにクエリの答えの数を予測できるか？
• RQ3 モデルの性能は、特に否定や存在記号を含む複雑なFOLクエリにおいて、最先端の手法と比較してどうなるか？
• RQ4 モデルの途中段階でのファジーチューリング集合をどの程度可視化できるか、多ホップ推論の解釈性向上に寄与するか？
• RQ5 GNNに基づく関係射影とファジーロジック演算の統合は、純粋にニューラル的またはシンボリックなアプローチよりも優れた一般化性能をもたらすか？

主な発見

• GNN-QEは、存在肯定的1階論理（EPFO）クエリで前人最高のモデル比で平均22.3%の相対的改善を達成し、否定クエリでは95.1%の改善を示した。
• モデルは知識グラフ補完から複雑なクエリ応答への一般化がうまくいき、不完全なグラフにおいても精度と耐障害性の両面で他の手法を上回った。
• GNN-QEは、ファジーチューリング集合の基数のシンボリック定式化のおかげで、明示的な教師信号なしに答えの数を予測可能である。
• モデルは意味のある中間ファジーチューリング集合の可視化を提供し、ユーザーが段階的推論経路を検査・解釈できる。
• アブレーション実験により、GNNベースの射影とファジーロジック演算の組み合わせが、モデルの性能と解釈性の根幹をなしていることが示された。
• トレバーシングドロップアウトの導入により、特にデータが少ない状況でも一般化性能が向上し、過学習が軽減された。