[論文レビュー] Neural Graph Reasoning: Complex Logical Query Answering Meets Graph Databases

Hong‐Yu Ren, Mikhail Galkin+3 more|arXiv (Cornell University)|Mar 26, 2023

Graph Theory and Algorithms被引用数 7

ひとこと要約

この論文は、グラフストレージ（グラフ、特徴、埋め込みストアを備えた）と神経クエリエンジンを統合することで、不完全なグラフ上での効率的で頑健なマルチホップ論理クエリへの対応を可能にする、神経推論とグラフデータベースを統合する新規フレームワーク「ニューラルグラフデータベース（NGDB）」を紹介する。主な貢献は、多様なモダリティに対して柔軟かつ誘導的（inductive）な推論を可能にし、スケーラブルな検索を実現することで、欠落したリンクの回復において、記号的システムを凌駕することにある。

ABSTRACT

Complex logical query answering (CLQA) is a recently emerged task of graph machine learning that goes beyond simple one-hop link prediction and solves a far more complex task of multi-hop logical reasoning over massive, potentially incomplete graphs in a latent space. The task received a significant traction in the community; numerous works expanded the field along theoretical and practical axes to tackle different types of complex queries and graph modalities with efficient systems. In this paper, we provide a holistic survey of CLQA with a detailed taxonomy studying the field from multiple angles, including graph types (modality, reasoning domain, background semantics), modeling aspects (encoder, processor, decoder), supported queries (operators, patterns, projected variables), datasets, evaluation metrics, and applications. Refining the CLQA task, we introduce the concept of Neural Graph Databases (NGDBs). Extending the idea of graph databases (graph DBs), NGDB consists of a Neural Graph Storage and a Neural Graph Engine. Inside Neural Graph Storage, we design a graph store, a feature store, and further embed information in a latent embedding store using an encoder. Given a query, Neural Query Engine learns how to perform query planning and execution in order to efficiently retrieve the correct results by interacting with the Neural Graph Storage. Compared with traditional graph DBs, NGDBs allow for a flexible and unified modeling of features in diverse modalities using the embedding store. Moreover, when the graph is incomplete, they can provide robust retrieval of answers which a normal graph DB cannot recover. Finally, we point out promising directions, unsolved problems and applications of NGDB for future research.

研究の動機と目的

• 従来のグラフデータベースが不完全またはノイズの多いグラフ上での複雑なマルチホップ論理クエリを処理する際の限界を解消すること。
• テキスト、表形式データ、知識グラフなどの異種のデータモダリティを、単一の神経推論フレームワークで統合すること。
• 再訓練なしに未観測の関係や動的変更に対応できる誘導的推論を可能にすること。
• 表現力のあるクエリオペレータ、パターン、および投影変数をサポートする、スケーラブルでエンドツーエンドのシステムを構築すること。
• NGDBのための原則的評価フレームワークを確立し、神経クエリプランニングと継続的学習における未解決課題を特定すること。

提案手法

• エンコーダーネットワークを用いて、グラフストア、特徴ストア、および潜在的埋め込みストアを備えたニューラルグラフストレージを提案する。
• 埋め込みストアと連携してクエリを計画・実行するニューラルクエリエンジンを設計し、SPARQLに類似した操作をシミュレートする神経プロセッサを用いる。
• 再訓練なしに未観測の関係に一般化できる誘導的エンコーダーを採用し、深刻な忘却を回避する継続的学習を可能にする。
• 論理演算子（例：AND、OR）を潜在空間でモデル化するため、三角ノルムとコノルムを用いることで、不確実性下でも頑健な推論を実現する。
• プロセッサの種別、クエリの複雑さ、ストレージ構成に基づいて実行シーケンスを最適化するクエリプランナを導入する。
• 学習された類似度メトリクスを用いた近似最近傍（ANN）検索を採用し、数十億ノードのグラフへのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 神経推論をどのように系統的にグラフデータベースアーキテクチャと統合することで、複雑な論理クエリをサポートできるか？
• RQ2 不完全で動的なグラフ上での誘導的かつスケーラブルで頑健な推論を可能にするために、どのようなコンponentsが不可欠か？
• RQ3 神経クエリエンジンは、不完全なグラフにおける欠落した関係や潜在的関係の回復において、なぜ記号的エンジンを凌駆できるか？
• RQ4 大規模NGDB向けに神経クエリプランナーや効率的な検索メカニズムを設計するにあたり、どのような主な課題があるか？
• RQ5 基礎モデル（foundation models）をNGDBに統合することで、推論の効率性と推論能力をどのように向上できるか？

主な発見

• ニューラルグラフデータベース（NGDB）は、不完全なグラフ上での真のエッジの欠落を効果的に回復でき、直接走査可能なパスしか取得できない記号的SPARQLエンジンよりも高い再現率を達成した。
• 誘導的エンコーダーの使用により、再訓練なしに未観測の関係に一般化でき、動的で変化するグラフスキーマに対応できるようになった。
• 表現力のあるプロセッサネットワークを備えた神経クエリエンジンは、性質パス、Kleeneスター、否定演算子などの複雑な演算子を処理でき、基本的な結合クエリをはるかに超える能力を有する。
• このフレームワークは、投影変数とタプルレベルの出力をサポートしており、中間バインディングの取得や複数属性の結果の抽出が可能になった。
• 学習された類似度メトリクスを用いたスケーラブルなANNベースの検索により、数十億ノードおよび数兆エッジを有するグラフ上でも効率的な推論が可能になった。
• 本論文は、継続的学習、神経クエリプランニング、評価に関する重要な課題を特定し、エンドツーエンドのクエリワークロードを評価するための新しいベンチマークとメトリクスの必要性を提起した。