[論文レビュー] SLAPS: Self-Supervision Improves Structure Learning for Graph Neural Networks

Bahare Fatemi, Layla El Asri+1 more|arXiv (Cornell University)|Feb 9, 2021

Advanced Graph Neural Networks被引用数 63

ひとこと要約

SLAPSは、GNNにおけるタスク特化の潜在グラフ構造の学習を改善する自己教師あり目標を導入し、監督信号の不足と大規模グラフへのスケーリングに対処します。複数のベンチマークで従来の潜在グラフベースラインを上回ります。

ABSTRACT

Graph neural networks (GNNs) work well when the graph structure is provided. However, this structure may not always be available in real-world applications. One solution to this problem is to infer a task-specific latent structure and then apply a GNN to the inferred graph. Unfortunately, the space of possible graph structures grows super-exponentially with the number of nodes and so the task-specific supervision may be insufficient for learning both the structure and the GNN parameters. In this work, we propose the Simultaneous Learning of Adjacency and GNN Parameters with Self-supervision, or SLAPS, a method that provides more supervision for inferring a graph structure through self-supervision. A comprehensive experimental study demonstrates that SLAPS scales to large graphs with hundreds of thousands of nodes and outperforms several models that have been proposed to learn a task-specific graph structure on established benchmarks.

研究の動機と目的

• 明示的なグラフトポロジーが利用できない場合に、タスク特異的なグラフ構造の学習を動機づける。
• 標準的な潜在グラフ学習では、ラベル付きノードから遠いエッジがほとんど監視信号を受けず、監督信号の不足を特定する。
• 自己監督型のノイズ除去目的を用いて、隣接行列とGNNパラメータを共同に学習するSLAPSを開発する。
• SLAPSが数十万ノードのグラフへ拡張できることを示し、ベンチマークでベースラインを上回る。

提案手法

• 生成器、隣接処理機、分類器、自己監督の4要素モデルを提案する。
• ノード特徴量から候補隣接行列を生成するため、2つの生成器バリアント（FPとMLP-kNN）を使用する。
• 生成された隣接行列を対称かつ非負にして、GCN入力用に正規化する。
• 生成された隣接行列を用いてマスクされた/ノイズ入り特徴を復元する自己監督型ノイズ除去オートエンコーダタスク（GNN_DAE）を導入し、SLAPSを損失関数 L = L_C + lambda L_DAE で学習する。

実験結果

リサーチクエスチョン

• RQ1 自己監督はGNNの潜在グラフ学習における監督信号の不足を緩和できるか？
• RQ2 標準ベンチマーク上で、SLAPSは既存の潜在グラフベースラインより予測性能を向上させるか？
• RQ3 さまざまなグラフ生成器はSLAPSの性能とスケーラビリティにどう影響するか？
• RQ4 自己監督はSLAPSをogbn-arxivのような大規模グラフへスケールさせるか？

主な発見

• SLAPSは確立されたノード分類ベンチマークで一貫してベースラインを上回る。
• 生成器の中では、MLP-Dは特徴量が豊富なデータセットでしばしば優れ、MLPは特徴量が少ないデータセットでより良い。
• 自己学習を伴うSLAPSはさらなる利得をもたらす。AdaEdgeの影響はデータセット依存で、SLAPSがすでにホモファイリーなグラフを生む場合は限定的になることが多い。
• ogbn-arxivでは、ベースラインの潜在グラフ手法はメモリの制約で苦戦するか失敗するが、SLAPSはスケールし、競争力のある性能を示す。
• MNISTなどの非グラフデータセットでも、SLAPSの variants はLDSやIDGLを含む強力なベースラインを、同等の設定で上回る。