[論文レビュー] Rethinking the Power of Graph Canonization in Graph Representation Learning with Stability

Zehao Dong, Muhan Zhang+6 more|arXiv (Cornell University)|Sep 1, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

本稿では、グラフ同型性を最大限に活用した一意なノードラベリングを可能にするグラフ正規化を統合することで、表現力の向上を図るUniversal Graph Canonization-GNN（UGC-GNN）を提案する。この手法は、31%まで向上する最先端の性能を達成しながら、表現力とモデル安定性のバランスを保ち、分子、生物学的、遺伝子ネットワークベンチマークにおいて優れた一般化性能を示している。

ABSTRACT

The expressivity of Graph Neural Networks (GNNs) has been studied broadly in recent years to reveal the design principles for more powerful GNNs. Graph canonization is known as a typical approach to distinguish non-isomorphic graphs, yet rarely adopted when developing expressive GNNs. This paper proposes to maximize the expressivity of GNNs by graph canonization, then the power of such GNNs is studies from the perspective of model stability. A stable GNN will map similar graphs to close graph representations in the vectorial space, and the stability of GNNs is critical to generalize their performance to unseen graphs. We theoretically reveal the trade-off of expressivity and stability in graph-canonization-enhanced GNNs. Then we introduce a notion of universal graph canonization as the general solution to address the trade-off and characterize a widely applicable sufficient condition to solve the universal graph canonization. A comprehensive set of experiments demonstrates the effectiveness of the proposed method. In many popular graph benchmark datasets, graph canonization successfully enhances GNNs and provides highly competitive performance, indicating the capability and great potential of proposed method in general graph representation learning. In graph datasets where the sufficient condition holds, GNNs enhanced by universal graph canonization consistently outperform GNN baselines and successfully improve the SOTA performance up to $31\%$, providing the optimal solution to numerous challenging real-world graph analytical tasks like gene network representation learning in bioinformatics.

研究の動機と目的

• 標準的なGNNの表現力に限界があること、特に1-WLの表現力に制限され、同型でないグラフを区別できないことに対処すること。
• グラフ正規化によって強化されたGNNにおける表現力とモデル安定性のトレードオフを調査すること。高い表現力は一般化性能を損なう可能性があるため。
• 多様なグラフ学習タスクに適用可能なスケーラブルで安定的かつ高表現力なGNNを実現する、普遍的なグラフ正規化フレームワークの開発。
• グラフ正規化が、既存の表現力の高いアーキテクチャを凌駕する強力で効率的かつ汎用的なGNNの強化手段として機能できることを実証すること。

提案手法

• 同型なグラフが同一の正規形を生成するように、ノードを1からnまでの整数に一意かつ双方向にマッピングするノードラベリング関数ρ(v|G)を計算する普遍的なグラフ正規化フレームワークを提案。
• 正規形をGNNにおける位置エンコーディングとして使用し、標準的な位置エンコーディングに代えて、正規ラベルの一括エンコーディングを用いることで、構造的差別化を最大化。
• 普遍的グラフ正規化のための十分条件を導入し、多様なグラフタイプにおいて、効率的かつ安定的な正規形の計算を可能にする。
• Nautyなどの効率的な正規化ツールを活用し、実用的なサイズのグラフにおいて近似的線形時間で正規形を計算することで、スケーラビリティを確保。
• 正規形をGNN（例：GIN、GCN）の入力として統合し、アーキテクチャの大幅な変更なしにノードおよびグラフ表現を強化。
• 理論的分析により、表現力と安定性のトレードオフが存在することが判明。UGC-GNNは、制御された正規ラベル化によって、これを最適にバランスしている。

実験結果

リサーチクエスチョン

• RQ1 グラフ正規化は、1-WLを越える表現力をGNNに与えることで、モデル安定性を維持しながら顕著に向上させられるか？
• RQ2 正規化を用いて強化されたGNNにおける表現力と安定性の理論的トレードオフは何か？ そして、これをどのように緩和できるか？
• RQ3 分子や生物学的ネットワークを含む多様なグラフタイプに適用可能で、効率的である普遍的グラフ正規化手法は存在するか？
• RQ4 UGC-GNNは、既存の表現力の高いGNNと比較して、特に実世界のバイオインフォマティクスタスクにおいて、未観測のグラフへの一般化性能をより高められるか？
• RQ5 大規模データセットにおいて、UGC-GNNの計算コストは、高次のGNNや部分グラフベースのGNNと比較してどの程度か？

主な発見

• UGC-GNNは、複数のベンチマークデータセットで最先端の性能を達成し、遺伝子ネットワーク表現学習においてSOTA結果を最大31%向上させた。
• 大規模な生物学的および分子グラフ（例：Mayo、RosMap、Cancer）において、UGC-GNNは1エポックあたりの平均計算時間をそれぞれ13秒、10秒、89秒に短縮し、PPGNやNGNNを上回った。
• PPGNやNGNNがO(n²)およびO(n³)のメモリ複雑性によりOOM（メモリ不足）を起こす大規模グラフにおいても、UGC-GNNはOOMを回避した。
• 高い安定性を維持しており、類似したグラフを近いベクトル表現にマッピングするため、未観測のグラフへの一般化性能が向上した。
• 普遍的正規化の十分条件を満たすデータセットでは、UGC-GNNはTransSynergy、SANEpool、Decagon、DimiGを含むすべてのGNNベースラインを一貫して上回った。
• 理論的分析により、表現力と安定性のトレードオフが確認され、UGC-GNNは制御された正規ラベル化によってこれを効果的にバランスしている。