[論文レビュー] PAN: Path Integral Based Convolution for Deep Graph Neural Networks

Zheng Ma, Ming Li+1 more|arXiv (Cornell University)|Apr 24, 2019

Advanced Graph Neural Networks参考文献 36被引用数 16

ひとこと要約

この論文は、パス積分形式を用いてノード間のすべての可能なパスに沿ったメッセージパッシングを学習可能なパス長依存重みでモデル化することで、グラフラプラシアンに依存する従来のグラフ畳み込みの一般化であるPAN（パス積分に基づく畳み込み）という、新しいグラフニューラルネットワークフレームワークを提案する。物理学におけるパス積分形式にインspiredされ、グラフラプラシアンに代わる最大エントロピー遷移（MET）行列を導入することで、収束が速く、ベンチマークタスクで最先端の性能を達成する。

ABSTRACT

Convolution operations designed for graph-structured data usually utilize the graph Laplacian, which can be seen as message passing between the adjacent neighbors through a generic random walk. In this paper, we propose PAN, a new graph convolution framework that involves every path linking the message sender and receiver with learnable weights depending on the path length, which corresponds to the maximal entropy random walk. PAN generalizes the graph Laplacian to a new transition matrix we call \emph{maximal entropy transition} (MET) matrix derived from a path integral formalism. Most previous graph convolutional network architectures can be adapted to our framework, and many variations and derivatives based on the path integral idea can be developed. Experimental results show that the path integral based graph neural networks have great learnability and fast convergence rate, and achieve state-of-the-art performance on benchmark tasks.

研究の動機と目的

• 従来のグラフ畳み込みネットワークが、すべての隣接ノードに等しい重みを仮定し、直接的または短距離の相互作用のみをモデル化するグラフラプラシアンに依存するという制限を解消すること。
• 即座の隣接ノードだけでなく、ノード間のすべての可能なパスを考慮することで、長距離依存関係を捉えることができる、より表現力の高いグラフ畳み込みフレームワークを開発すること。
• 統計力学とパス積分原理に基づいた新しいインダクティブバイアスを形式化し、局所的からグローバルな受容 field への連続的遷移を可能にすること。
• 既存のGCN、GAT、その他のGNNアーキテクチャを特殊ケースとして統一するフレームワークを提供するとともに、パス積分に基づく設計によって新たなバリエーションを可能にすること。

提案手法

• 離散グラフに適応されたパス積分形式を提案し、ソースノードがターゲットノードに与える影響を、パス長に依存する重み付きのすべての可能なパスの和として計算する。重みはパス長に依存するボルツマン因子によって決定される。
• パス積分から導出された、シャノンエントロピーをマイクロカノニカル集合において最大化する最大エントロピー遷移（MET）行列を導入し、標準的なランダムウォークを一般化する。
• MET行列を $ M = Z^{-1} ext{diag}(Z_i) imes ig( ext{sum over } n ext{ of } e^{-E(n)/T} A^n ig) $ として定義する。ここで $ A^n $ は長さ $ n $ のパスの数を表し、$ E(n) $ はパス長の学習可能なエネルギー関数である。
• ノードの識別子に依存しないグローバルな学習可能なパラメータとしてのパス重み $ k(n) $ を採用することでモデルを簡素化し、$ X^{(h+1)} = ig( ext{sum over } n ext{ of } k^{(h)}(n) D_n^{-1} A^n ig) X^{(h)} W^{(h)} $ による効率的な計算を可能にし、行列の対角化を回避する。
• 擬似温度 $ T $ を用いて受容 field のサイズを制御する：$ T $ が小さいと短いパス（局所的）が優先され、$ T $ が大きいと長いパス（グローバル）が優先され、連続的なインダクティブバイアスを実現する。
• MET畳み込みをGCNに類似したアーキテクチャに適用し、正規化された隣接行列の代わりにMET行列を用いることで、標準的なバックプロパゲーションによるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 すべての可能なメッセージパスをモデル化することで、直接の隣接ノードに限定されないパス積分形式の導入が、グラフニューラルネットワークの表現能力を向上させ得るか？
• RQ2 統計力学の原理と最大エントロピーのランダムウォークをどのようにして、グラフ畳み込みのための新しいインダクティブバイアスに適応できるか？
• RQ3 パス積分から導出されたMET行列は、標準的なグラフラプラシアンに比べて、モデルの表現力と学習ダイナミクスの両面で優れていると言えるか？
• RQ4 提案されたフレームワークは、既存のGNNを特殊ケースとして統一でき、パスベースの設計によって新たなアーキテクチャの創出を可能にするか？
• RQ5 学習可能な温度パラメータ $ T $ は、モデルの局所的構造とグローバル構造の両方を捉える能力にどのように影響を与えるか？

主な発見

• PANモデルは、学術論文ネットワーク（Cora, PubMed, Citeseer）およびRedditを含む、複数のベンチマークグラフ学習タスクで最先端の性能を達成した。
• PANは、GCN、GAT、その他のベースラインモデルと比較して、学習中に著しく高速な収束を示した。これは、パス積分モデルによるインダクティブバイアスの向上に起因する。
• モデルの性能はさまざまなデータセットに対して安定しており、特にトランスダクティブおよびインダクティブなノード分類ベンチマークで、精度とF1スコアの両方で一貫した向上を示した。
• アブレーションスタディの結果、学習可能なパス長重みを有するパス積分機構が不可欠であることが確認された。固定または重みなしのパスを用いたモデルは性能が劣った。
• MET行列はグラフラプラシアンをうまく一般化しており、パス重みが制限されたり特定の値に設定されると、GCNやGATを特別なケースとして回復できる。
• 温度パラメータの使用により、受容 field のサイズを動的に制御でき、モデルが局所的または長距離依存関係に適応的に焦点を当てる能力が向上した。