[論文レビュー] Everything is Connected: Graph Neural Networks

Petar Veličković|arXiv (Cornell University)|Jan 19, 2023

Advanced Graph Neural Networks被引用数 12

ひとこと要約

この総説はグラフニューラルネットワーク（GNN）とその基礎、変種（畳み込み、注意機構、メッセージパッシング）およびトランスフォーマー、潜在グラフ、幾何グラフへの拡張をレビューし、応用と理論的限界を強調します。

ABSTRACT

In many ways, graphs are the main modality of data we receive from nature. This is due to the fact that most of the patterns we see, both in natural and artificial systems, are elegantly representable using the language of graph structures. Prominent examples include molecules (represented as graphs of atoms and bonds), social networks and transportation networks. This potential has already been seen by key scientific and industrial groups, with already-impacted application areas including traffic forecasting, drug discovery, social network analysis and recommender systems. Further, some of the most successful domains of application for machine learning in previous years -- images, text and speech processing -- can be seen as special cases of graph representation learning, and consequently there has been significant exchange of information between these areas. The main aim of this short survey is to enable the reader to assimilate the key concepts in the area, and position graph representation learning in a proper context with related fields.

研究の動機と目的

• 自然現象と人工システムの普遍的表現としてグラフ上のデータを研究する動機付け。
• グラフ構造化学習における置換不変性/同変性を説明し、局所近傍操作を定義する。
• GNNのフレーバー（畳み込み、注意機構、メッセージパッシング）を分類し、ノード、グラフ、リンク予測タスクに関連付ける。
• 固定グラフを持たないGNN（Deep Sets、Transformers）を議論し、グラフ構造学習の根拠を説明する。
• ユークリッド空間に対する幾何学的GNN（E(3) 同変性）を導入し、分子・タンパク質構造への適用を位置づける。

提案手法

• ノード特徴量Xと隣接行列Aを用いてグラフ入力を (V, E) と形式化し、ノード置換に対する不変性/同変性の要件を確立する。
• 置換不変なアグリゲータと局所関数phiを介してノード表現h_uを計算する局所近傍伝搬を定義する。
• 3つのGNNフレーバーを提示する：畳み込み（式8）、注意機構（式9）、メッセージパッシング（式10）、表現力の向上を示す。
• Deep Sets（エッジなし）とTransformers（全結合グラフ）がGNNの特別なケースとして現れることを示し、グラフ構造学習と潜在グラフ推論を動機づける。
• 回転・並進・Reflection対称性を持つ幾何学的グラフのためのE(3)-同変グラフネットワーク（式12–14）を導入する。
• 幾何学に支えられたアーキテクチャ（例：AlphaFold2）を含む広い文脈と、グラフベースモデルのハードウェア影響を議論する。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造データの学習を支配する基本原理（置換不変性/同変性）は何か、そしてそれらがGNN設計をどう制約するか？
• RQ2 異なるGNNフレーバー（畳み込み、注意機構、メッセージパッシング）は表現力とノード・グラフ・リンク予測タスクへの適用性の点でどう比較されるか？
• RQ3 明示的な入力グラフが利用不可または不適切な場合、GNNはどう機能できるか、そしてこの観点でTransformersはグラフニューラルネットワークとどう関連するか？
• RQ4 幾何学・対称性の考慮（E(3) 同変性）が、分子やタンパク質などの3Dデータに対するGNNを補強するうえでどんな役割を果たすか？

主な発見

• GNNはグラフ上の置換同変関数として定式化でき、ノード近傍によって局所性が誘導される。
• 畳み込み、注意機構、およびメッセージパッシングGNNは表現力とスケーラビリティの間のトレードオフを提供し、PPNNsは適切なグラフ構造と組み合わせた場合高い表現力を発揮する。
• TransformersとDeep SetsはGNNフレームワーク内の特殊なケースとして現れ、グラフ構造学習と潜在グラフ推論の重要性を浮き彫りにする。
• E(3)同変性を持つ幾何学的GNNは3Dデータの頑健な取り扱いを可能にし、回転・並進の対称性を保持し、分子・タンパク質モデリングへの適用を拡大する。
• この調査はGNN理論を薬物発見、交通予測、推奨システム、先進的なタンパク質構造予測などの実践的な成功事例と結びつける。
• GNNの究極的な表現力と高次/拡張アーキテクチャとの比較には議論が続くが、グラフ変調仮定の下では一-hopのメッセージパッシングで十分な場合がある。