[論文レビュー] Layer-Neighbor Sampling -- Defusing Neighborhood Explosion in GNNs

Muhammed Fatih Balın, Ümit V. Çatalyürek|arXiv (Cornell University)|Oct 24, 2022

Advanced Graph Neural Networks被引用数 10

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）のための新しいグラフサンプリング手法であるLABORを提案する。LABORは、ポissonサンプリングを用いて隣接ノードサンプリングとレイヤー・サンプリングを統合し、近隣ノードの爆発的増加を軽減する。シードノード間で重複する近隣領域を相関的にサンプリングすることで、頂点数と辺数をそれぞれ最大7倍および13倍まで削減でき、これにより、ネイバー・サンプリングと比較して112倍の大きなバッチサイズを実現する。同時に、モデルの収束性および性能を維持または向上させている。

ABSTRACT

Graph Neural Networks (GNNs) have received significant attention recently, but training them at a large scale remains a challenge. Mini-batch training coupled with sampling is used to alleviate this challenge. However, existing approaches either suffer from the neighborhood explosion phenomenon or have poor performance. To address these issues, we propose a new sampling algorithm called LAyer-neighBOR sampling (LABOR). It is designed to be a direct replacement for Neighbor Sampling (NS) with the same fanout hyperparameter while sampling up to 7 times fewer vertices, without sacrificing quality. By design, the variance of the estimator of each vertex matches NS from the point of view of a single vertex. Moreover, under the same vertex sampling budget constraints, LABOR converges faster than existing layer sampling approaches and can use up to 112 times larger batch sizes compared to NS.

研究の動機と目的

• 大規模グラフにおけるミニバッチ学習におけるGNNの近隣ノード爆発問題に対処すること。
• 従来の隣接ノードサンプリングおよびレイヤー・サンプリング手法の限界、特に隣接ノードサンプリングの高い分散とレイヤー・サンプリングの劣った収束性を克服すること。
• 隣接ノードサンプリングの分散特性を維持しつつ、同時にサンプリングされた頂点数と辺数を大幅に削減するサンプリング戦略を設計すること。
• 同じサンプリング予算のもとで、はるかに大きなバッチサイズを可能にし、学習の収束を加速すること。
• ハードウェア仕様（例：特徴量アクセス速度）に応じて調整可能な柔軟で効率的なサンプリングフレームワークを提供すること。

提案手法

• レイヤー基盤のサンプリングにおける「取り出ししない」サンプリングの代替としてポアソンサンプリングを導入し、分散を低減するとともに計算効率を向上させる。
• 頂点の分散を最適化するフレームワークとして、LABOR（LAyer-neighBOR sampling）を提案。複数のシードノード間でサンプリングを相関させ、近隣領域の重複を最大化する。
• サンプリング問題を最適化問題として定式化：各頂点について、隣接ノードサンプリングと同等の分散を維持しつつ、サンプリングされる頂点数を最小化する。
• 固定点反復法を用いて最適化問題を解き、収束するまで反復的にサンプリング分布を改善する。
• LABOR-*、LABOR-1、LABOR-0のバリエーションを導入。*は収束まで固定点反復を実行し、数値が小さいほどより速い特徴量アクセスを優先する。
• LADIESのレイヤー・サンプリングフレームワークにポアソンサンプリングを統合し、PLADIESを構築。これは優れたベースライン手法となる。

実験結果

リサーチクエスチョン

• RQ1 分散が低く、かつ近隣ノードの爆発的増加を回避できるサンプリング手法を設計できるか？
• RQ2 レイヤー基盤のサンプリングをどのように改善すれば、モデル品質を損なわずにサンプリング頂点数と辺数を削減できるか？
• RQ3 より効率的なサンプリング戦略を用いることで、固定されたサンプリング予算のもとでどの程度バッチサイズを拡大できるか？
• RQ4 固定点反復はGNN学習の文脈において収束性およびサンプリング効率にどのような影響を与えるか？
• RQ5 ハードウェアI/O特性に応じて、サンプリング・バリエーションの選択（例：LABOR-0対LABOR-*）が性能に与える影響は何か？

主な発見

• LABORは、ネイバー・サンプリングと比較して、サンプリング頂点数を最大7倍、辺数を最大13倍まで削減し、近隣ノードの爆発的増加を顕著に緩和した。
• 同じ頂点サンプリング予算のもとで、RedditデータセットにおいてLABORはネイバー・サンプリングと比較して最大112倍の大きなバッチサイズを実現し、収束を加速した。
• LABORはネイバー・サンプリングおよびLADIESと比較して、より速く収束し、学習および検証損失曲線が滑らかで安定していた。
• 固定点反復により、最終レイヤーのサンプリング頂点数が14%〜33%削減され、その大部分の改善は最初の反復で達成された。
• LABOR-0は、より少ないサンプリング辺数と固定点反復のオーバーヘッドなしで、遅いストレージシステムにおいて最良のランタイム性能を達成した。
• PLADIES（LADIESのポアソンサンプリング版）は、F1スコアで元のLADIESと比較して最大2%向上し、ポアソンサンプリングの利点を実証した。