[論文レビュー] Graph and graphon neural network stability

Luana Ruiz, Zhiyang Wang+1 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 32被引用数 6

ひとこと要約

本稿は、グラフオン信号処理を活用してGNNをグラフオンニューラルネットワーク（WNN）としてモデル化することで、グラフオン摂動下におけるグラフニューラルネットワーク（GNN）の理論的安定性バインディングを確立する。GNNは、フィルターバンド幅による安定性と識別可能性のトレードオフに従い、グラフサイズの増大に伴い漸近的に安定性が向上することを示している。

ABSTRACT

Graph neural networks (GNNs) are learning architectures that rely on knowledge of the graph structure to generate meaningful representations of large-scale network data. GNN stability is thus important as in real-world scenarios there are typically uncertainties associated with the graph. We analyze GNN stability using kernel objects called graphons. Graphons are both limits of convergent graph sequences and generating models for deterministic and stochastic graphs. Building upon the theory of graphon signal processing, we define graphon neural networks and analyze their stability to graphon perturbations. We then extend this analysis by interpreting the graphon neural network as a generating model for GNNs on deterministic and stochastic graphs instantiated from the original and perturbed graphons. We observe that GNNs are stable to graphon perturbations with a stability bound that decreases asymptotically with the size of the graph. This asymptotic behavior is further demonstrated in an experiment of movie recommendation.

研究の動機と目的

• 実世界のグラフにおける構造的不確実性下でのGNN安定性に関する理論的理解の不足に対処すること。
• 収束するグラフ系列の極限としてのグラフオンを用いてグラフ不確実性をモデル化し、生成モデルを導入すること。
• グラフオンに基づく類似物（WNN）を分析することで、GNNの理論的安定性バインディングを確立すること。
• 決定的グラフからの安定性分析を、グラフオンから生成される確率的グラフへと拡張すること。
• スペクトルフィルタ制約を通じて、GNNの安定性と識別可能性の根本的トレードオフを明らかにすること。

提案手法

• グラフオン信号処理理論を用いて、GNNの連続的極限としてグラフオンニューラルネットワーク（WNN）を定義する。
• グラフオンカーネルから導かれるグラフオンシフト作用素（GSO）を用いて、極限におけるグラフ畳み込み演算をモデル化する。
• スペクトル解析とグラフオンのリプシッツ連続性を用いて、WNNのグラフオン摂動に対する安定性を確立する。
• 先行研究で得られたGNN-WNN近似フレームワークを応用し、WNNの安定性結果を離散的GNNに移行する。
• 固有値摂動理論とデイビス＝カハンの定理を用いて、グラフオン摂動下での固有ベクトル差の上限を求める。
• 濃縮不等式とグラフオン次数の正則性を用いて、GNN出力差の確率的バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 グラフオン摂動は、グラフニューラルネットワークの出力安定性にどのように影響するか？
• RQ2 グラフサイズの増大に伴い、GNNの安定性はどのように漸近的に変化するか？
• RQ3 グラフ摂動下において、GNNの安定性と識別可能性の間にトレードオフが存在するか？
• RQ4 グラフオンから生成される決定的グラフと確率的グラフにおけるGNNの安定性は、どのように異なるか？
• RQ5 WNNの理論的安定性バインディングを、有限グラフ上の実用的GNNへと拡張できるか？

主な発見

• GNNはグラフオン摂動に対して安定であり、グラフサイズの増大に伴い安定性バインディングが漸近的に減少する。
• 安定性バインディングは $ \mathcal{O}\left(\frac{\sqrt{\log n}}{\sqrt{n}}\right) $ のスケーリングを示し、大きなグラフでは摂動への感受性が低下することを示している。
• GNNの安定性と識別可能性の間にトレードオフが存在し、グラフ畳み込みフィルタの通過帯域によって制約される。
• WNN近似フレームワークの下では、グラフオンからインスタンス化された決定的グラフにおけるGNNの安定性が保証される。
• 同じ漸近的スケーリングの下で、グラフオンから生成される確率的グラフに対しても安定性が高確率で保持される。
• 解析により、最小固有値ギャップ $ \delta_c^{(pq)} $ とフィルターバンド内に存在する固有値の数 $ n_c^{(q)} $ が安定性バインディングに顕著に影響することが明らかになった。