[論文レビュー] Training Graph Neural Networks with 1000 Layers

Guohao Li, Matthias Müller+2 more|arXiv (Cornell University)|Jun 14, 2021

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、可逆接続、重みの共有、均衡モデルを用いることで、メモリ複雑性をO(L)からO(1)に低減させることで、1つのGPUで最大1001層のGNNを学習可能にする可逆的グラフニューラルネットワーク（RevGNN）を提案する。この手法は最先端の性能を達成し、RevGNN-Deepは ogbn-proteins で87.74 ± 0.13 AUCを達成し、層の深さにおいて10倍の記録を樹立した。

ABSTRACT

Deep graph neural networks (GNNs) have achieved excellent results on various tasks on increasingly large graph datasets with millions of nodes and edges. However, memory complexity has become a major obstacle when training deep GNNs for practical applications due to the immense number of nodes, edges, and intermediate activations. To improve the scalability of GNNs, prior works propose smart graph sampling or partitioning strategies to train GNNs with a smaller set of nodes or sub-graphs. In this work, we study reversible connections, group convolutions, weight tying, and equilibrium models to advance the memory and parameter efficiency of GNNs. We find that reversible connections in combination with deep network architectures enable the training of overparameterized GNNs that significantly outperform existing methods on multiple datasets. Our models RevGNN-Deep (1001 layers with 80 channels each) and RevGNN-Wide (448 layers with 224 channels each) were both trained on a single commodity GPU and achieve an ROC-AUC of $87.74 \pm 0.13$ and $88.24 \pm 0.15$ on the ogbn-proteins dataset. To the best of our knowledge, RevGNN-Deep is the deepest GNN in the literature by one order of magnitude. Please visit our project website https://www.deepgcns.org/arch/gnn1000 for more information.

研究の動機と目的

• 実世界の応用において、深層グラフニューラルネットワーク（GNN）のスケーラビリティを制限する高いGPUメモリ消費を解決すること。
• メモリ容量の増加なしに、1000層を超える極めて深いGNNの学習を可能にし、標準アーキテクチャのO(L)メモリ複雑性を克服すること。
• パラメータとメモリ効率を向上させつつ、大規模グラフベンチマークにおけるモデル性能を維持または向上させること。
• ミニバッチサンプリングやサブグラフ分割とは対照的に、可逆接続、重みの共有、均衡モデルを、スケーラブルなGNN学習の代替手段として探求すること。

提案手法

• GNNにおける可逆残差接続を用いることで、中間活性化の保存を不要とし、深さLに関して、メモリ複雑性をO(L)からO(1)に低減する。
• グループ畳み込みと重みの共有を用いることで、パラメータ数を削減し、最小限のメモリオーバーヘッドで広いまたは深いネットワークを可能にする。
• 無限の深さを持つネットワークの均衡点を解くための深層グラフ均衡GNN（DEQ-GNN）を導入する。
• 暗黙の微分と根の探索法を用いて、均衡点を経由して逆誤差伝搬を行うが、中間状態を保存しない。これにより、定数のメモリ使用量を維持する。
• 可逆GNNとミニバッチサンプリングを組み合わせることで、ノード数に応じたメモリ消費をさらに低減する。
• 学習可能なメッセージアグリゲーションとGraphNormを用いることで、グラフ特徴量予測タスクにおける学習安定性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける可逆接続は、ネットワークの深さに関係なく定数のメモリ複雑性を達成できるか。これにより、極めて深いモデルの学習が可能になるか。
• RQ2 可逆GNNは、標準GNNや他のパラメータ効率の良いアーキテクチャと比較して、大規模グラフベンチマークにおけるメモリ、パラメータ数、性能の面でどう異なるか。
• RQ3 可逆接続を用いて学習された過剰パラメータ化GNNは、より長い学習時間を要するが、既存の最先端モデルを上回る性能を示せるか。
• RQ4 Normalization手法としてのGraphNormとBatchNormの、深層可逆GNNにおける性能への影響は何か。
• RQ5 均衡モデル（DEQ-GNN）は、O(1)のメモリとパラメータ複雑性を維持しながら、深層可逆GNNと同等の性能を達成できるか。

主な発見

• 80チャンネル/層の1001層のGNNであるRevGNN-Deepは、1台のコンsumer GPUで正常に学習され、GNNにおける新たな深さ記録を樹立した。
• RevGNN-Deepは、ogbn-proteinsデータセットで87.74 ± 0.13のROC-AUCを達成し、既存手法を上回った。
• 224チャンネルの448層モデルであるRevGNN-Wideは、同じベンチマークで88.24 ± 0.15 AUCを達成し、高い深さと幅を持つモデルとして優れた性能を示した。
• 可逆GNNは、深さに依存しないメモリコストを有し、常にベースラインモデルを上回る性能を示した。
• RevGNNにおけるGraphNormの使用により、ogbg-molhivでの性能が向上し、BatchNormの77.82と比較して78.62のAUCを達成した。
• RevGNNは、ogbn-productsにおいてSGCとSIGNを上回り、74.87%および77.60%と比較して82.16%のテスト精度を達成した。これは、顕著に低いメモリ使用量で達成された。