[論文レビュー] The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive field

Kun Wang, Guohao Li+7 more|arXiv (Cornell University)|Aug 19, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

本稿では、各ノードが一意で適応的な受容場を備えるべきであるという原則に基づき、深層グラフニューラルネットワーク（GNN）のための新しい学習パラダイム「スノーフレイク仮説」を提案する。勾配に基づく手法とノードレベルのコサイン距離を用いて隣接行列を動的にプルーニングし、ノードごとに集約を早期に停止させることで、過剰な平滑化（over-smoothing）を軽減し、深層GNNの安定した学習（最大64層）を可能にする。複数のベンチマークとバックボーン（JKNet、ResGCN、GINなど）において、最先端の性能を達成する。

ABSTRACT

Despite Graph Neural Networks demonstrating considerable promise in graph representation learning tasks, GNNs predominantly face significant issues with over-fitting and over-smoothing as they go deeper as models of computer vision realm. In this work, we conduct a systematic study of deeper GNN research trajectories. Our findings indicate that the current success of deep GNNs primarily stems from (I) the adoption of innovations from CNNs, such as residual/skip connections, or (II) the tailor-made aggregation algorithms like DropEdge. However, these algorithms often lack intrinsic interpretability and indiscriminately treat all nodes within a given layer in a similar manner, thereby failing to capture the nuanced differences among various nodes. To this end, we introduce the Snowflake Hypothesis -- a novel paradigm underpinning the concept of ``one node, one receptive field''. The hypothesis draws inspiration from the unique and individualistic patterns of each snowflake, proposing a corresponding uniqueness in the receptive fields of nodes in the GNNs. We employ the simplest gradient and node-level cosine distance as guiding principles to regulate the aggregation depth for each node, and conduct comprehensive experiments including: (1) different training schemes; (2) various shallow and deep GNN backbones, and (3) various numbers of layers (8, 16, 32, 64) on multiple benchmarks (six graphs including dense graphs with millions of nodes); (4) compare with different aggregation strategies. The observational results demonstrate that our hypothesis can serve as a universal operator for a range of tasks, and it displays tremendous potential on deep GNNs. It can be applied to various GNN frameworks, enhancing its effectiveness when operating in-depth, and guiding the selection of the optimal network depth in an explainable and generalizable way.

研究の動機と目的

• 深層GNNにおける過剰な平滑化と過学習を解消し、モデルの深さと性能を制限する要因に対処すること。
• 残差接続やエッジドロップ戦略といった従来の手法がすべてのノードを均一に扱い、解釈可能性に欠けるという制限を克服すること。
• ノード固有の集約深さを可能にすることで、一般化可能で解釈可能かつスケーラブルな深層GNNの学習手法を開発すること。
• GCN、GAT、JKNet、ResGCNなど多様なGNNアーキテクチャ、学習スキーム、グラフタイプ（大規模で密なグラフを含む）において、提案手法の有効性を検証すること。

提案手法

• スノーフレイク仮説の提唱：GNN内の各ノードは、くまの模様の独自性にインspiredされた、一意で個別化された受容場を持つべきである。
• 隠れ表現間の勾配の大きさとノードレベルのコサイン距離を、各ノードのメッセージスティンの停止タイミングを決定する信号として用いる。
• これらの信号に基づき、要素レベルでの隣接行列プルーニングを実施し、ノードごとの集約深さの早期停止を可能にする。
• アーキテクチャの変更なしに、GCN、GIN、GAT、JKNet、ResGCNなど多様なGNNバックボーンに普遍的なオペレータとして統合する。
• 標準的な学習スキームを用い、8、16、32、64層と段階的に深くするモデルを訓練し、コサイン距離のしきい値に基づく早期停止をガイドとする。
• Cora、PubMed、引用ネットワークを含む6つのベンチマークグラフで、複数の設定下で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 一様な集約戦略と比較して、ノード固有で適応的な受容場戦略は、深層GNNにおける過剰な平滑化をより効果的に軽減できるか？
• RQ2 勾配とコサイン距離の信号に基づく動的かつ早期停止の戦略は、多様なアーキテクチャにおいて一般化性と性能向上を実現できるか？
• RQ3 提案手法は、アーキテクチャの変更なしに、さまざまなGNNバックボーンと学習スキームに普遍的に適用可能か？
• RQ4 標準的なGCNや最先端の深層GNNと比較して、非常に深いGNN（例：64層）において、本手法はどのように性能を発揮するか？
• RQ5 本手法の性能はグラフの同型性（homophily）にどの程度依存するか。低同型性グラフではどのように処理するか？

主な発見

• SnoHv2は、8層モデルでCora（85.68%）、PubMed（86.56%）、citepseer（73.24%）で最先端性能を達成し、GCNや他のベースラインを上回る。
• 16層モデルでもSnoHv2は高い性能を維持（Coraで84.19%、PubMedで85.79%）し、深層設定下での安定性を示す。
• 32層モデルでは、SnoHv2はCoraで83.09%、PubMedで84.06%を達成し、GCN（80.33%と83.76%）や他のプルーニングベースラインを顕著に上回る。
• 本手法はバックボーンに一般化可能である：SnoHv2はPubMedとcitepseerにおけるGINおよびGATモデルの性能を向上させ、GCNに限らない強靭性を示す。
• 同型性が低いグラフ（例：Arxiv：同型性0.635）においても、SnoHv2は競争力のある性能を維持しており、異型性に強いことが示唆される。
• 本手法により、64層GNNの安定した学習が可能となり、深層部のプルーニング率が上昇する傾向を示しており、一部のノードでは浅い集約で十分である可能性を示唆する。