[論文レビュー] SLAPS: Self-Supervision Improves Structure Learning for Graph Neural Networks

Bahare Fatemi, Layla El Asri+1 more|arXiv (Cornell University)|Feb 9, 2021

Advanced Graph Neural Networks参考文献 72被引用数 25

ひとこと要約

SLAPSは自己教師付きデノイジングタスクを用いて潜在グラフ学習の監視不足を緩和し、隣接行列とGNNパラメータを協調して学習する。大規模グラフで強力な結果を達成。

ABSTRACT

Graph neural networks (GNNs) work well when the graph structure is provided. However, this structure may not always be available in real-world applications. One solution to this problem is to infer a task-specific latent structure and then apply a GNN to the inferred graph. Unfortunately, the space of possible graph structures grows super-exponentially with the number of nodes and so the task-specific supervision may be insufficient for learning both the structure and the GNN parameters. In this work, we propose the Simultaneous Learning of Adjacency and GNN Parameters with Self-supervision, or SLAPS, a method that provides more supervision for inferring a graph structure through self-supervision. A comprehensive experimental study demonstrates that SLAPS scales to large graphs with hundreds of thousands of nodes and outperforms several models that have been proposed to learn a task-specific graph structure on established benchmarks.

研究の動機と目的

• GNNの潜在グラフ学習で、ラベル付きノードから離れたエッジが十分なガイダンスを受けられない監視不足の問題を特定する。
• ノード特徴をデノイズして隣接学習を正則化する自己教師付きタスクを提案し、構造学習を改善する。
• 生成、隣接処理、分類、自己監視を統合した潜在グラフ学習モデルSLAPSを開発する。
• SLAPSが何十万ノード規模のグラフへスケールし、複数ベンチマークで既存の潜在グラフベースラインを上回ることを示す。

提案手法

• 特徴Xから密な隣接 tilde{A} を出力するジェネレータGを提案し、二つのバリアントを用意する：FP（完全にパラメータ化された隣接）とMLP-kNN（MLP出力を経てkNNでスパース化）。
• tilde{A}を対称関数Pと次数正規化を用いて対称・非負・正規化された隣接Aに変換する。
• AとXを受け取ってクラスロジットを出力しクロスエントロピー損失L_Cを計算する分類子GNN_C（二層GCN）を用いる。
• ノイズ入りのXとAを受け取りL_DAEを最小化してXを回復する自己教師付きデノイジングオートエンコーダGNN_DAEを導入し、隣接学習を特徴予測可能な構造へ誘導する。
• SLAPSを最小化L = L_C + λ * L_DAEで訓練し、監督付き分類と自己教師付き構造学習のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり監視はGNNの潜在グラフ学習における監視不足を緩和できるか？
• RQ2 デノイズに基づく自己教師付きタスクを組み込むことで推定隣接の品質と下流の分類性能は改善されるか？
• RQ3 SLAPSは大規模グラフへどの程度スケールし、複数のベンチマークで既存の潜在グラフベースラインと比較してどうか？
• RQ4 データセットの特性に応じて最適なジェネレータのバリアント（FP vs MLP-kNN）はどちらか？
• RQ5 SLAPSと組み合わせた自己学習やAdaEdgeなどの追加手法はどのような影響をもたらすか？

主な発見

Model	Cora	Citeseer	Cora390	Citeseer370	Pubmed	ogbn-arxiv
MLP	56.1 ± 1.6	56.7 ± 1.7	65.8 ± 0.4	67.1 ± 0.5	71.4 ± 0.0	54.7 ± 0.1
MLP-GAM*	70.7^†	70.3^†	-	-	71.9^†	-
LP	37.6 ± 0.0	23.2 ± 0.0	36.2 ± 0.0	29.1 ± 0.0	41.3 ± 0.0	OOM
kNN-GCN	66.5 ± 0.4^†	68.3 ± 1.3^†	72.5 ± 0.5	71.8 ± 0.8	70.4 ± 0.4	49.1 ± 0.3
LDS	-	-	71.5 ± 0.8^†	71.5 ± 1.1^†	OOM	OOM
GRCN	67.4 ± 0.3	67.3 ± 0.8	71.3 ± 0.9	70.9 ± 0.7	67.3 ± 0.3	OOM
DGCNN	56.5 ± 1.2	55.1 ± 1.4	67.3 ± 0.7	66.6 ± 0.8	70.1 ± 1.3	OOM
IDGL	70.9 ± 0.6	68.2 ± 0.6	73.4 ± 0.5	72.7 ± 0.4	72.3 ± 0.4	OOM
kNN-GCN + AdaEdge	67.7 ± 1.0	68.8 ± 1.0	72.2 ± 0.4	71.8 ± 0.6	OOT	OOT
kNN-GCN + self-training	67.3 ± 0.3	69.8 ± 1.0	71.1 ± 0.3	72.4 ± 0.2	72.7 ± 0.1	NA
SLAPS (FP)	72.4 ± 0.4	70.7 ± 0.4	76.6 ± 0.4	73.1 ± 0.6	OOM	OOM
SLAPS (MLP)	72.8 ± 0.8	70.5 ± 1.1	75.3 ± 1.0	73.0 ± 0.9	74.4 ± 0.6	56.6 ± 0.1
SLAPS (MLP-D)	73.4 ± 0.3	72.6 ± 0.6	75.1 ± 0.5	73.9 ± 0.4	73.1 ± 0.7	52.9 ± 0.1
SLAPS (MLP) + AdaEdge	72.8 ± 0.7	70.6 ± 1.5	75.2 ± 0.6	72.6 ± 1.4	OOT	OOT
SLAPS (MLP) + self-training	74.2 ± 0.5	73.1 ± 1.0	75.5 ± 0.7	73.3 ± 0.6	74.3 ± 1.4	NA

• SLAPSはCora、Citeseer、Pubmed、ogbn-arxivなどの標準ベンチマークで複数の潜在グラフベースラインを上回る。
• ジェネレータの中では、特徴次元とデータセットサイズに応じてFPとMLP-Dのバリアントが最適となることが多く、特徴が高い場合はMLP-Dが好まれる。
• 自己学習は一般にSLAPSの性能を向上させ、AdaEdgeは学習されたグラフの同質性に応じて混合的な利得を示す。
• 自己監視のみで隣接を学習する2段階バリアントSLAPS_2sは、kNN-GCNをいくつかのデータセットで依然として凌駕しており、自己教師信号の有用性を示す。
• MNIST系の変種ではSLAPSはGLCN、DeepWalk、標準的なGCN/GATなどのベースラインを一貫して上回り、ドメインを越えた頑健性を強調する。
• 理論的洞察として、潜在グラフ設定でエッジのかなりの部分が監視不足になる可能性があり、提案された自己教師付き監視の必要性を動機づける。