[論文レビュー] Graphon Neural Networks and the Transferability of Graph Neural Networks

Luana Ruiz, Luiz F. O. Chamon+1 more|arXiv (Cornell University)|Jun 5, 2020

Advanced Graph Neural Networks参考文献 31被引用数 43

ひとこと要約

ペーパーは graphon neural networks (WNNs) を GNNs の極限オブジェクトとして定義し、同じ graphon から生成された決定論的グラフ間での GNN の移送性を示す(bound)を証明し、誤差が n^{-1/2} で減衰することを示すバンドリミットフィルターの下で、移送性と識別性のトレードオフを明らかにする。

ABSTRACT

Graph neural networks (GNNs) rely on graph convolutions to extract local features from network data. These graph convolutions combine information from adjacent nodes using coefficients that are shared across all nodes. Since these coefficients are shared and do not depend on the graph, one can envision using the same coefficients to define a GNN on another graph. This motivates analyzing the transferability of GNNs across graphs. In this paper we introduce graphon NNs as limit objects of GNNs and prove a bound on the difference between the output of a GNN and its limit graphon-NN. This bound vanishes with growing number of nodes if the graph convolutional filters are bandlimited in the graph spectral domain. This result establishes a tradeoff between discriminability and transferability of GNNs.

研究の動機と目的

• 異なるサイズだが構造が類似したグラフ間での GNN の転移学習を動機づける。
• グラフオンベースの極限オブジェクト（WNNs）を導入して GNN の移送性を研究する。
• 同じ graphon から構築された異なるグラフ上の GNN 出力の差を厳密に境界づける。
• フィルターのバンドリミットが移送性と識別性のトレードオフに与える影響を強調する。
• 理論的および数値的洞察を提供し、GNN がグラフ変種へ一般化できる条件を示す。

提案手法

• グラフシフト演算子とスペクトル表現を用いてグラフ畳み込みを定義する。
• グラフオンを極限オブジェクトとして導入し、graphon shift operator (WSO) を用いた graphon データを扱う。
• グラフオン畳み込みと非線形活性化を用いて graphon Neural Networks (WNNs) を定式化する。
• WNNs を GNN の決定論的生成モデルとして、グラフを graphon に、信号を graphon 信号に写像することにより相互に生成モデルとして成り立たせる。
• 定理1として、graphon から構築された決定論的グラフ上の WNN 出力と GNN 出力の近似境界を導出する。
• 定理2として、同じ graphon からサンプルされた異なるサイズのグラフ間の GNN の移送性を特徴づける。

実験結果

リサーチクエスチョン

• RQ1 GNN が特定のサイズのグラフで訓練されて他の同じ graphon ファミリーのグラフへ移行して性能保証を得られるか。
• RQ2 graphon の構造とフィルター帯域幅が GNN の移送性と識別性にどう影響するか。
• RQ3 graphon からサンプルされた決定論的グラフにおけるグラフサイズが大きくなるとき、移送誤差の漸近挙動はどうなるか。

主な発見

• GNN は同じ graphon から得られる決定論的グラフ間で移送可能であり、出力の差異はグラフサイズが大きくなるにつれて減衰する項で境界づけられる。
• 移送性の境界は係数 LF^{L-1} sqrt(A1) (A2 + pi nc / delta_c) の因子と (n1^{-1/2} + n2^{-1/2}) に比例する。
• 固定の誤差項は graphon 信号の変動性 A3 に依存し、また n^{-1/2} でも減衰する。
• トレードオフが存在する：通過帯域が小さい（n_c が小さい）ほど移送性は良いが識別性は低くなり、その逆もまた然り。
• WNNs は GNN の生成モデルを提供し、グラフ構造を学習可能なアーキテクチャパラメータとして見ることを可能にする；この結果は graphon からの決定論的グラフにも適用される。
• MovieLens および Cora の数値結果は実世界の移送性境界を実践的に示し、グラフサイズが増えると出力の差異が縮小することを示している。