[論文レビュー] Convergence and Stability of Graph Convolutional Networks on Large Random Graphs

Nicolas Keriven, Alberto Bietti+1 more|arXiv (Cornell University)|Jun 2, 2020

Opportunistic and Delay-Tolerant NetworksComputer Science被引用数 18

ひとこと要約

本稿は、連続的極限フレームワークを用いて、大規模なランダムグラフ上におけるグラフ畳み込みネットワーク（GCNs）の非漸近的収束性および安定性の保証を確立する。グラフを潜在変数と類似度カーネルでモデル化することで、平均次数が ∼ log n の比較的スパースな条件下でも、GCNsがその連続的対応物に収束することを証明し、ユークリッド畳み込みニューラルネットワークの安定性理論を一般化する、変形に基づく安定性指標を導入する。

ABSTRACT

We study properties of Graph Convolutional Networks (GCNs) by analyzing their behavior on standard models of random graphs, where nodes are represented by random latent variables and edges are drawn according to a similarity kernel. This allows us to overcome the difficulties of dealing with discrete notions such as isomorphisms on very large graphs, by considering instead more natural geometric aspects. We first study the convergence of GCNs to their continuous counterpart as the number of nodes grows. Our results are fully non-asymptotic and are valid for relatively sparse graphs with an average degree that grows logarithmically with the number of nodes. We then analyze the stability of GCNs to small deformations of the random graph model. In contrast to previous studies of stability in discrete settings, our continuous setup allows us to provide more intuitive deformation-based metrics for understanding stability, which have proven useful for explaining the success of convolutional representations on Euclidean domains.

研究の動機と目的

• 離散的同型性の概念が無意味となるような、非同型で大きなグラフにおけるGCN挙動に関する理論的理解の不足に取り組む。
• 従来の安定性解析が、直感的でない離散的グラフ距離指標に依存するという限界を克服する。
• ノード数の対数的に増加する平均次数 ∼ log n を有する比較的スパースなランダムグラフ上における、GCNの非漸近的収束バウンドを提供する。
• ユークリッド信号処理で用いられるものと類似した、直感的で幾何学的な変形指標を定義する連続的フレームワークを確立する。
• 離散的グラフ信号距離を、連続的極限におけるワサーライン型距離に結びつけることで、新たな理論的安定性の知見をもたらす。

提案手法

• ノードを分布から独立同分布に従って抽出し、エッジを類似度カーネルによって生成する潜在空間表現を用いて、大規模なランダムグラフをモデル化する。
• グラフラプラシアンを潜在空間上の関数に作用する積分作用素に置き換えることで、離散的GCNの連続的対応物を定義する。
• シュールの補題を用いて、GCN層の作用素ノルムをバウンドし、摂動に対して安定性を保証する。
• 一般化されたホーフィングの不等式およびスペクトル集中結果を用いて、経験的および期待されるグラフ作用素の乖離を制御する。
• 連続的グラフ信号間のワサーライン型距離を導入し、基礎となるグラフモデルの微小な変形に対する安定性を定量化する。
• グラフラプラシアン作用素を用いて、層間を伝播する差の伝播を分析することで、GCN層に対する再帰的リプシッツバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 ノード数が増加する際、特にスパースな条件下で、GCNsはどのように連続的極限に収束するか？
• RQ2 離散的グラフ距離ではなく、連続的で幾何学的な変形指標を用いて、GCNsの構造的摂動に対する安定性を形式化できるか？
• RQ3 平均次数が ∼ log n の比較的スパースなランダムグラフ上における、GCNの非漸近的収束バウンドは何か？
• RQ4 連続的極限フレームワークは、離散的グラフ信号距離を連続的表現空間における距離にどのように結びつけるか？
• RQ5 GCNの理論的安定性は、ユークリッド領域から非ユークリッド的グラフ構造へ、どの程度一般化可能か？

主な発見

• 本稿は、ノード数の対数的に増加する平均次数を有する比較的スパースなランダムグラフモデルにおいて、GCNsがその連続的対応物に非漸近的に収束することを確立する。
• 収束結果は、類似度カーネルが滑らかであるか、ゼロから離れている必要がないという条件のもとでも成り立つため、SBM や ε-グラフなどのモデルへの適用範囲が広がる。
• 微小なグラフ変形に対する安定性は、連続的グラフ信号表現間のワサーライン型距離によって特徴付けられ、畳み込みニューラルネットワークと類似した幾何的解釈が可能である。
• 置換に不変なGCNsに対しては、離散的グラフ信号距離と連続的極限におけるワサーライン距離を結びつけるという、既存の文献では観察されていなかった新規な関係を同定する。
• 正規化ラプラシアンのスペクトル集中バウンドを用いて、エッジ確率にやや厳しい仮定を置くだけで、経験的および期待されるグラフ作用素の乖離を制御する。
• 本分析により、グラフが稠密でない場合でも有効な、明示的かつ有限標本バウンドが得られ、GCNの一般化誤差および安定性に関する新たな知見が得られる。