[論文レビュー] MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP Initialization

Xiaotian Han, Tong Zhao+3 more|arXiv (Cornell University)|Sep 30, 2022

Advanced Graph Neural Networks被引用数 12

ひとこと要約

MLPInitは、同じアーキテクチャと重み空間を持つ事前に訓練されたPeerMLPの重みでGNNを初期化する、シンプルでありながら効果的な手法を提案する。このアプローチにより、複数のベンチマークでノード分類において最大7.97%、リンク予測において最大17.81%の予測精度向上と、学習時間の最大33倍の高速化を達成した。

ABSTRACT

Training graph neural networks (GNNs) on large graphs is complex and extremely time consuming. This is attributed to overheads caused by sparse matrix multiplication, which are sidestepped when training multi-layer perceptrons (MLPs) with only node features. MLPs, by ignoring graph context, are simple and faster for graph data, however they usually sacrifice prediction accuracy, limiting their applications for graph data. We observe that for most message passing-based GNNs, we can trivially derive an analog MLP (we call this a PeerMLP) with an equivalent weight space, by setting the trainable parameters with the same shapes, making us curious about extbf{\emph{how do GNNs using weights from a fully trained PeerMLP perform?}} Surprisingly, we find that GNNs initialized with such weights significantly outperform their PeerMLPs, motivating us to use PeerMLP training as a precursor, initialization step to GNN training. To this end, we propose an embarrassingly simple, yet hugely effective initialization method for GNN training acceleration, called MLPInit. Our extensive experiments on multiple large-scale graph datasets with diverse GNN architectures validate that MLPInit can accelerate the training of GNNs (up to 33X speedup on OGB-Products) and often improve prediction performance (e.g., up to $7.97\%$ improvement for GraphSAGE across $7$ datasets for node classification, and up to $17.81\%$ improvement across $4$ datasets for link prediction on metric Hits@10). The code is available at \href{https://github.com/snap-research/MLPInit-for-GNNs}.

研究の動機と目的

• 大規模グラフにおけるGNNの高い計算コストと長い学習時間の問題に対処すること。
• メッセージパッシングGNNとMLPの重み空間を同等にできるかを調査すること。
• まずPeerMLPを訓練し、収束した重みを用いてGNNを初期化することで、学習の高速化と性能向上が可能かどうかを検討すること。
• アーキテクチャの変更やハイパーパrameterチューニングを必要とせず、標準的なGNN学習プロトコルに統合可能なシンプルで即座に利用可能な初期化手法を開発すること。
• PeerMLPの重みで初期化されたGNNが、ランダム初期化されたGNNおよびそれ自身のPeerMLPの対応するものよりも優れた性能を示すことを実証すること。

提案手法

• 与えられたGNNと同一のアーキテクチャおよび重み次元を持つMLPとしてPeerMLPを定義し、同じトレーニング可能なパラメータ空間を共有する。
• スパースなメッセージパッシングを回避し、ノード特徴量のみを用いて同じグラフデータ上でPeerMLPを学習させ、収束が速くなるようにする。
• 収束したPeerMLPの重みを、対応するGNNの初期重みとして使用する。
• 事前に学習された特徴表現を活用することで、初期化された状態からGNNを微調整し、収束を加速する。
• さまざまなGNNアーキテクチャ（例：GraphSAGE, GCN, ClusterGCN）および大規模データセット（例：OGB-products, Reddit, Flickr）にこの手法を適用する。
• 公平な比較のため、早期停止と検証ベースのモデル選択を用いた標準的な学習プロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 GNNとその対応するPeerMLPの重み空間は、形状と次元において同一にできるか？
• RQ2 ノード特徴量のみでPeerMLPを学習させた結果、その表現をGNNに転送することで、ランダム初期化と比較して下流タスクの性能が向上するか？
• RQ3 PeerMLPの収束した重みをGNNの初期化に用いることで、収束に必要な学習エポック数を削減できるか？
• RQ4 この初期化手法は、多様なGNNアーキテクチャおよび大規模グラフデータセットにおいて一貫して学習を高速化できるか？
• RQ5 PeerMLPの重みで初期化されたGNNは、ノード分類およびリンク予測タスクにおいて、PeerMLP自体の性能を上回るか？

主な発見

• MLPInitは、ランダム初期化と比較してOGB-productsデータセットでGNN学習時間を最大33倍高速化した。
• GraphSAGEは、MLPInitを用いることで、7つのデータセットでノード分類精度を最大7.97%向上させた。
• リンク予測においては、4つのデータセットでHits@10性能を最大17.81%向上させた。
• PeerMLPの重みで初期化されたGNNは、ランダム初期化された対応するGNNと比較して、半分以下のエポック数で収束した。
• PeerMLP自体は、収束した重みで初期化された場合、GNNよりも性能が劣ることが示された。これは、GNNのメッセージパッシング機構が転送された表現から恩恵を受けることを示している。
• この手法は、多様なGNNアーキテクチャ（例：GraphSAGE, GCN, ClusterGCN, GraphSAINT）およびデータセット（例：Reddit, Flickr, OGB-arXiv, OGB-products）に対して堅牢である。