[論文レビュー] Deep Graph Neural Networks with Shallow Subgraph Samplers

Hanqing Zeng, Muhan Zhang+7 more|arXiv (Cornell University)|Dec 2, 2020

Advanced Graph Neural Networks参考文献 49被引用数 13

ひとこと要約

この論文は、局所的にサンプリングされた部分グラフ上でのみ深層GNNを適用することで、過剰平滑化と近隣ノードの爆発的増加を軽減し、グラフ表現学習を向上させる「深層GNN、浅層サンプラー」フレームワークを提案する。ogbn-papers100Mにおいて、10倍の低コストで最先端の精度を達成した。

ABSTRACT

While Graph Neural Networks (GNNs) are powerful models for learning representations on graphs, most state-of-the-art models do not have significant accuracy gain beyond two to three layers. Deep GNNs fundamentally need to address: 1). expressivity challenge due to oversmoothing, and 2). computation challenge due to neighborhood explosion. We propose a simple "deep GNN, shallow sampler" design principle to improve both the GNN accuracy and efficiency -- to generate representation of a target node, we use a deep GNN to pass messages only within a shallow, localized subgraph. A properly sampled subgraph may exclude irrelevant or even noisy nodes, and still preserve the critical neighbor features and graph structures. The deep GNN then smooths the informative local signals to enhance feature learning, rather than oversmoothing the global graph signals into just "white noise". We theoretically justify why the combination of deep GNNs with shallow samplers yields the best learning performance. We then propose various sampling algorithms and neural architecture extensions to achieve good empirical results. On the largest public graph dataset, ogbn-papers100M, we achieve state-of-the-art accuracy with an order of magnitude reduction in hardware cost.

研究の動機と目的

• 大規模グラフにおけるグラフ表現学習における深層GNNの表現力と計算コストの課題を解決すること。
• メッセージ伝達を局所的で情報価値の高い部分グラフに制限することで、深層GNNにおける過剰平滑化を克服すること。
• 部分グラフのサンプリングにより近隣ノードの爆発的増加を回避することで、計算コストを低減すること。
• サンプリングされた部分グラフに重要なグラフ構造と近隣特徴を保持することで、モデル性能を向上させること。
• 深層GNNと浅層サンプリングの組み合わせの有効性を理論的に裏付ける基盤を構築すること。

提案手法

• この手法は、各ターゲットノードの周囲に局所的にサンプリングされた浅い部分グラフ内でのみ、深層GNNを用いてメッセージを伝播させる。
• 部分グラフのサンプリングにより、関係のないか、ノイズの多いノードを除外しながら、構造的におよび特徴的に重要な近隣ノードを保持する。
• フレームワークは、局所的なグラフ構造と特徴の整合性を保つコンactな部分グラフを生成する「浅層サンプラー」を活用する。
• 情報価値が高く多様な部分グラフを保証するためのさまざまなサンプリングアルゴリズムが提案され、頑健な表現学習を支援する。
• 最適なパフォーマンスを実現するため、サンプリングとGNNのコンponentsをエンドツーエンドで統合するニューラルアーキテクチャ拡張が導入される。
• 理論的分析により、この設計がグローバルな過剰平滑化を回避し、局所的信号強化に焦点を当てるという点で有効であることが示された。

実験結果

リサーチクエスチョン

• RQ1 大規模グラフにおいて、過剰平滑化を回避しつつ、深層GNNをより効果的に活用する方法は何か？
• RQ2 どのようなサンプリング戦略が、計算コストを低減しつつ深層GNNの高精度を維持できるか？
• RQ3 なぜメッセージ伝達を浅い部分グラフに制限することで、フルグラフGNNと比較して表現学習が向上するのか？
• RQ4 単純な「深層GNN、浅層サンプラー」設計が、大規模グラフにおいて既存の深層GNNアーキテクチャを上回ることができるか？
• RQ5 深層GNNと局所的サンプリングを組み合わせた有効性を裏付ける理論的保証は何か？

主な発見

• 提案手法は、最大の公開グラフベンチマークである ogbn-papers100M データセットで最先端の精度を達成した。
• 従来の深層GNNと比較して、ハードウェアコストを10倍低減し、大規模グラフにおける効率的な学習を可能にした。
• グローバルなグラフ信号ではなく、局所的で情報価値の高い部分グラフに焦点を当てることで、過剰平滑化を緩和した。
• 理論的分析により、深層GNNと浅層サンプリングの組み合わせが、グローバルなメッセージ伝播による劣化を回避することが確認された。
• 実験的結果から、部分グラフサンプリングが、正確なノード表現に不可欠な構造的および特徴的情報を保持していることが示された。
• フレームワークは強力なスケーラビリティと効率性を示し、現実世界の大規模グラフ学習における深層GNNの実用化を可能にした。