[論文レビュー] Evaluating Deep Graph Neural Networks

Wentao Zhang, Zeang Sheng+5 more|arXiv (Cornell University)|Aug 2, 2021

Advanced Graph Neural Networks参考文献 59被引用数 16

ひとこと要約

この論文は、深層GNNにおける過剰なスムージングと深層変換によるモデル劣化を、深層GNNの核心的制限要因として特定する。本論文では、伝達（propagation）と変換（transformation）を分離することで、スケーラブルで深さを適応的に制御可能な、DGMLPと呼ばれる分離型GNNフレームワークを提案する。これにより、大規模グラフ上で最先端の精度、スパarsityに対する耐性、および高い効率性を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have already been widely applied in various graph mining tasks. However, they suffer from the shallow architecture issue, which is the key impediment that hinders the model performance improvement. Although several relevant approaches have been proposed, none of the existing studies provides an in-depth understanding of the root causes of performance degradation in deep GNNs. In this paper, we conduct the first systematic experimental evaluation to present the fundamental limitations of shallow architectures. Based on the experimental results, we answer the following two essential questions: (1) what actually leads to the compromised performance of deep GNNs; (2) when we need and how to build deep GNNs. The answers to the above questions provide empirical insights and guidelines for researchers to design deep and well-performed GNNs. To show the effectiveness of our proposed guidelines, we present Deep Graph Multi-Layer Perceptron (DGMLP), a powerful approach (a paradigm in its own right) that helps guide deep GNN designs. Experimental results demonstrate three advantages of DGMLP: 1) high accuracy -- it achieves state-of-the-art node classification performance on various datasets; 2) high flexibility -- it can flexibly choose different propagation and transformation depths according to graph size and sparsity; 3) high scalability and efficiency -- it supports fast training on large-scale graphs. Our code is available in https://github.com/zwt233/DGMLP.

研究の動機と目的

• 深層GNNの根本的制限要因を体系的に評価すること、特に深層アーキテクチャにおける性能劣化に焦点を当てる。
• 深層GNNにおける性能低下の根本的要因を調査し、過剰スムージング、過学習、エンタングルメントに関する一般的な仮定に疑問を呈する。
• 深層で正確かつスケーラブルなGNNを構築するための実証的知見と設計ガイドラインを提供すること。
• 大規模な伝達および変換深さをサポートする高柔軟性と高効率性を備えた、新しいGNNアーキテクチャDGMLPを設計・検証すること。

提案手法

• 埋め込み伝達（EP）と埋め込み変換（ET）を独立したモジュールに分離する分離型アーキテクチャを提案する。
• ノードに適応する組み合わせ機構を導入し、局所構造に基づいて各ノードの表現の滑らかさを動的に制御する。
• 学習可能な深さを持つ多層パーセプトロン（MLP）を用いて変換を実装し、変換深さを柔軟に制御可能にする。
• 温度制御されたソフトルーティング機構を用いて、異なる伝達層からの寄与をバランスさせ、過剰スムージングを低減する。
• グラフのサイズとスパarsityに基づき、伝達深さ（$D_p$）と変換深さ（$D_t$）を独立してスケーリング可能にする。
• 過剰スムージングの定量的分析とモデル間比較のため、グラフスムージングレベル（GSL）を指標として採用する。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける深層畳み込み演算のスタッキングを制限するのは何であり、EPとETの分離がより多くの伝達ステップを可能にする理由は何か？
• RQ2 過剰スムージングを超えた深層GNNにおける性能劣化の原因は何か、そしてどのように緩和できるか？
• RQ3 グラフの特性（サイズやスパarsity）に応じて、伝達深さ（$D_p$）と変換深さ（$D_t$）をどのように設定すべきか？
• RQ4 分離型で深層なGNNアーキテクチャは、既存の最先端モデルを精度、スケーラビリティ、耐性面で上回ることができるか？

主な発見

• DGMLPは、7つの実世界データセットにおけるノード分類タスクでSGC、DAGNN、S²GC、GBPを上回り、特に高い伝達深さ下でも優れた性能を示す。
• 伝達深さ$D_p$が100に達しても、DGMLPは$D_p=5$のSGCよりも高いグラフスムージングレベル（GSL）を維持しており、過剰スムージングに対する優れた耐性を示している。
• PubMedデータセット（10%の特徴スパarsity）においても、DGMLPの精度低下はわずかで、すべてのベースラインを上回り、優れたノイズ耐性を示している。
• 1クラスあたり11個の訓練ノードで学習した場合、DGMLPは1クラスあたり20個のノードで学習したSGCと同等の性能を達成しており、高いデータ効率性を示している。
• $D_t$が10を超えて増加しても、SGC や DAGNN などのベースラインモデルは著しく性能を落とすが、DGMLPは性能を維持または向上させ続け、モデル劣化に対する耐性があることを実証している。
• ogbn-arxivにおいて$D_p=20$、$D_t=10$の設定で、DGMLPは最先端の精度を達成しており、性能の崩壊を伴わずに深さをスケーリング可能であることを確認している。