[論文レビュー] Communication-Efficient Sampling for Distributed Training of Graph Convolutional Networks

Peng Jiang, Masuma Akter Rumi|arXiv (Cornell University)|Jan 19, 2021

Advanced Graph Neural Networks参考文献 29被引用数 5

ひとこと要約

本論文は、分散学習におけるグラフ畳み込みネットワーク（GCNs）の通信効率を向上させるため、局所ノードのサンプリング確率を高くすることで、マシン間の特徴量通信を削減する手法を提案する。不偏推定によりモデル収束を維持し、実世界のグラフにおいて最大5.2倍の通信オーバーヘッド削減を達成しつつ、精度の損失を最小限に抑える。

ABSTRACT

Training Graph Convolutional Networks (GCNs) is expensive as it needs to aggregate data recursively from neighboring nodes. To reduce the computation overhead, previous works have proposed various neighbor sampling methods that estimate the aggregation result based on a small number of sampled neighbors. Although these methods have successfully accelerated the training, they mainly focus on the single-machine setting. As real-world graphs are large, training GCNs in distributed systems is desirable. However, we found that the existing neighbor sampling methods do not work well in a distributed setting. Specifically, a naive implementation may incur a huge amount of communication of feature vectors among different machines. To address this problem, we propose a communication-efficient neighbor sampling method in this work. Our main idea is to assign higher sampling probabilities to the local nodes so that remote nodes are accessed less frequently. We present an algorithm that determines the local sampling probabilities and makes sure our skewed neighbor sampling does not affect much the convergence of the training. Our experiments with node classification benchmarks show that our method significantly reduces the communication overhead for distributed GCN training with little accuracy loss.

研究の動機と目的

• リモートノードの頻回な特徴量転送が原因で生じる分散GCN学習における高い通信オーバーヘッドを解消すること。
• モデル収束性と精度を保ちながらマシン間通信を最小限に抑えるノードサンプリング戦略を設計すること。
• 勾配推定におけるバイアスを導入せずに局所ノードを優先するサンプリング確率スキームを開発すること。
• 単一マシンおよびマルチマシン環境における実世界グラフを対象に、性能および精度ベンチマークを用いて手法を検証すること。

提案手法

• 各マシンに格納されたノードのサンプリング確率を高く設定することで、リモート特徴ベクトルの取得を減らす。
• 局所性に比例した歪みのあるサンプリング分布を用い、ノードの選択確率はハイパーパrameter D で制御される。
• 逆確率重み付けを用いて補正することで、不偏な勾配推定を確保し、学習収束を維持する。
• 通信削減とモデル精度のバランスを取るための局所的サンプリング確率を計算するアルゴリズムを提案する。
• 既存のGCNフレームワークと統合可能であり、単一マシンおよびマルチマシン分散学習を両方サポートする。
• Cora、Citeseer、Reddit、YouTube、Amazonのグラフを用いて、ノード分類ベンチマークで評価した。

実験結果

リサーチクエスチョン

• RQ1 分散GCN学習におけるノードサンプリングを、モデル精度を損なわせることなく通信効率的にするにはどうすればよいか？
• RQ2 マシン間特徴量転送を最小限に抑えると同時に学習収束を維持するサンプリング戦略は何か？
• RQ3 局所ノードを優先することで、通信コストとモデルパフォーマンスのトレードオフにどのような影響を与えるか？
• RQ4 ノードの局所性に基づく歪んだサンプリング分布は、完全通信学習と同等の精度を達成できるか？

主な発見

• Redditグラフでは、D=16の条件下で通信時間は3.5倍、通信データ量は5.2倍削減され、検証精度は92.2%を維持した。
• YouTubeグラフでは、D=16の条件下で通信時間が6.7倍削減され、検証精度は完全通信ベースラインの34.0%に対し33.4%を達成した。
• 8台のマシンを用いたAmazonグラフでは、D=16の条件下で4.2倍の高速化が達成され、精度は79.29%を維持した（完全通信バージョンは79.31%）。
• 集中型CPUベースの特徴量ストレージ方式は、分散型GPUベース方式に比べ1.2倍から13倍も遅く、分散型ストレージの有効性を裏付けた。
• 局所アグリゲーションのみでは顕著な精度損失が生じた（例：YouTubeでは28.5%）、これはリモートノードへのアクセスの重要性を示している。
• CoraおよびCiteseerでは、完全通信バージョンとほぼ同等の収束速度を示したが、D=16では分散の増加によりわずかに遅延が見られた。