[論文レビュー] GMLP: Building Scalable and Flexible Graph Neural Networks with Feature-Message Passing

Wentao Zhang, Yu Shen+7 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Graph Neural Networks参考文献 36被引用数 5

ひとこと要約

GMLPは、メッセージ伝達とニューラルネットワークの更新を分離することで、事前計算された特徴メッセージ伝達を用いてスケーラブルかつ柔軟なグラフニューラルネットワークを実現する、新しいグラフマルチレイヤーパーセプトロンフレームワークを提案する。メッセージ集約とモデル更新の分離により、GMLPは11のベンチマーク、特に ogbn-products を含め、最先端の性能を達成し、従来の方法（例：GraphSAGE）と比較して優れたトレーニングスケーラビリティと効率性を実現する。

ABSTRACT

In recent studies, neural message passing has proved to be an effective way to design graph neural networks (GNNs), which have achieved state-of-the-art performance in many graph-based tasks. However, current neural-message passing architectures typically need to perform an expensive recursive neighborhood expansion in multiple rounds and consequently suffer from a scalability issue. Moreover, most existing neural-message passing schemes are inflexible since they are restricted to fixed-hop neighborhoods and insensitive to the actual demands of different nodes. We circumvent these limitations by a novel feature-message passing framework, called Graph Multi-layer Perceptron (GMLP), which separates the neural update from the message passing. With such separation, GMLP significantly improves the scalability and efficiency by performing the message passing procedure in a pre-compute manner, and is flexible and adaptive in leveraging node feature messages over various levels of localities. We further derive novel variants of scalable GNNs under this framework to achieve the best of both worlds in terms of performance and efficiency. We conduct extensive evaluations on 11 benchmark datasets, including large-scale datasets like ogbn-products and an industrial dataset, demonstrating that GMLP achieves not only the state-of-art performance, but also high training scalability and efficiency.

研究の動機と目的

• トレーニング中に再帰的な近隣拡張が高コストとなる、既存のニューラルメッセージ伝達GNNのスケーラビリティ制限を解決すること。
• 固定ホップ近隣集約による不柔軟性を克服し、過剰平滑化や関連する局所情報の損失を回避すること。
• ノード固有の近隣要件を尊重する、適応的かつマルチスケールのメッセージ集約を実現し、表現学習を向上させること。
• モデル性能を維持または向上させながら、高スケーラビリティと効率性を実現するフレームワークを開発すること。
• グラフレベルおよびメッセージレベルでカスタマイズ可能なアグレゲーターを備えた、新しいスケーラブルなGNNバリエーションを構築するための柔軟な抽象化を提供すること。

提案手法

• メッセージ伝達とニューラルネットワークの更新を分離する新しい特徴メッセージ伝達（FMP）抽象化を導入すること。
• トレーニング前にグラフ集約フェーズでメッセージを事前計算・配布し、バックプロパゲーション中の繰り返し高価なメッセージ伝達を排除すること。
• 1ホップ、2ホップ、Tホップまでの異なる局所性（例：1-hop, 2-hop, up to T-hop）の近隣でメッセージを生成する複数のグラフアグレゲーターを用いること。
• 自己ガイドドアテンションなどの学習可能なメッセージアグレゲーターを採用し、ノード固有のニーズに基づいて複数ホップからのメッセージを適応的に統合すること。
• 更新関数とメッセージ伝達を分離することで、メッセージ集約後に標準的なフィードフォワードネットワークを表現学習に使用可能にすること。
• 最小限の通信オーバーヘッド（パラメータ同期のみ）で、スタンドアロンおよび分散トレーニングを両方サポートすること。

実験結果

リサーチクエスチョン

• RQ1 メッセージ伝達とニューラル更新を分離することで、トレーニングスケーラビリティを向上させられるGNNフレームワークを設計できるか？
• RQ2 異なるノードで変動する近隣要件に対応できるように、GNNをどのようにしてより柔軟にできるか？
• RQ3 事前計算されたメッセージ伝達は、反復的メッセージ伝達と同等またはそれ以上の性能を達成できるか？また、トレーニング時間と通信コストを削減できるか？
• RQ4 適応的マルチホップメッセージ集約は、過剰平滑化を引き起こさずに大規模グラフ上で性能を向上させられるか？その程度は？
• RQ5 SGC や GraphSAGE などの既存のスケーラブルなGNNと比較して、提案フレームワークは正確性、効率性、スケーラビリティの観点でどの程度優れているか？

主な発見

• GMLPは、ogbn-products を含む11のベンチマークデータセットで最先端の性能を達成し、既存のSOTA手法と比較して一貫した改善を示す。
• ogbn-products データセットにおいて、GMLPは集約ステップが増加しても高いテスト精度を維持するが、GCN や ResGCN は過剰平滑化により性能が低下する。
• 分散トレーニングにおいて、GMLPは最大8ワーカーまでニアリー線形なスルーブプット向上を達成するが、GraphSAGE は繰り返しのメッセージフェッチによるI/Oボトルネックにより、スルーブプット向上が鈍化する。
• GMLPの自己ガイドドアテンション機構は、1ステップおよび2ステップのメッセージに高い重みを割り当て、局所構造を保持する一方で、高次数ノードの場合は遠くのノイジーなメッセージの影響を低減する。
• GMLPの事前計算されたメッセージ伝達により、トレーニング時間が顕著に短縮され、通信コストはパラメータ同期のみに限定される。これは、GraphSAGE の反復的メッセージ伝達とは対照的である。
• このフレームワークにより、正確性と効率性のバランスを取った新しいGNNバリエーションの構築が可能となり、スケーラビリティと性能を同時に最適化できることが示された。