[論文レビュー] Old can be Gold: Better Gradient Flow can Make Vanilla-GCNs Great Again

Ajay Jaiswal, Peihao Wang+4 more|arXiv (Cornell University)|Oct 14, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、過剰な平滑化に加え、劣悪な勾配フローが、深層バニラGCNの性能を低下させることを提案する。トポロジーに配慮した等長初期化とスキップ接続を勾配に従って動的に再接続する手法を導入することで、勾配フローを著しく改善し、アーキテクチャの複雑化を伴わずに、コネクションネットワークにおいて最先端の性能を達成することが可能になった。

ABSTRACT

Despite the enormous success of Graph Convolutional Networks (GCNs) in modeling graph-structured data, most of the current GCNs are shallow due to the notoriously challenging problems of over-smoothening and information squashing along with conventional difficulty caused by vanishing gradients and over-fitting. Previous works have been primarily focused on the study of over-smoothening and over-squashing phenomena in training deep GCNs. Surprisingly, in comparison with CNNs/RNNs, very limited attention has been given to understanding how healthy gradient flow can benefit the trainability of deep GCNs. In this paper, firstly, we provide a new perspective of gradient flow to understand the substandard performance of deep GCNs and hypothesize that by facilitating healthy gradient flow, we can significantly improve their trainability, as well as achieve state-of-the-art (SOTA) level performance from vanilla-GCNs. Next, we argue that blindly adopting the Glorot initialization for GCNs is not optimal, and derive a topology-aware isometric initialization scheme for vanilla-GCNs based on the principles of isometry. Additionally, contrary to ad-hoc addition of skip-connections, we propose to use gradient-guided dynamic rewiring of vanilla-GCNs} with skip connections. Our dynamic rewiring method uses the gradient flow within each layer during training to introduce on-demand skip-connections adaptively. We provide extensive empirical evidence across multiple datasets that our methods improve gradient flow in deep vanilla-GCNs and significantly boost their performance to comfortably compete and outperform many fancy state-of-the-art methods. Codes are available at: https://github.com/VITA-Group/GradientGCN.

研究の動機と目的

• 理論的表現力があるにもかかわらず、深層バニラGCNが性能を発揮できない理由を、バックプロパゲーション中の劣悪な勾配フローに焦点を当てて調査すること。
• GCNにおいて一般的に用いられるGlorot初期化が、深層アーキテクチャにおいて勾配フローを損なう可能性があることへの挑戦。
• 層ごとの勾配フローに基づいて、スキップ接続を動的に挿入する原理的な手法の開発。
• 改善された勾配フロー機構を備えた単純なバニラGCNが、SOTA性能を達成できることの実証。

提案手法

• グラフラプラシアンと次数情報に基づき、バニラGCNに適したトポロジーに配慮した等長初期化を導出することで、層間での信号安定性を維持する。
• 各層内の勾配のpノルムを指標として用い、トレーニング中に poorly trained 層を特定するための勾配フローの定義。
• 勾配信号が弱い層にのみ、自動的にスキップ接続を追加する勾配に従う動的再接続機構の提案。
• コアアーキテクチャの変更や追加パラメータの追加なしに、新しい初期化と動的再接続を標準的なGCNトレーニングに統合。
• 埋め込み表現の表現力を測定・追跡するためのプロキシとしてディリクレエネルギーを用いる。
• 標準的なGCN設定とSOTAベースラインを用いて、複数のデータセット（Cora, PubMed, Citeseer）で手法を評価。

実験結果

リサーチクエスチョン

• RQ1 劣悪な勾配フローは、深層バニラGCNのトレーニング可能性と性能に顕著に悪影響を及えるか？
• RQ2 標準的なGlorot初期化と比較して、トポロジーに配慮した初期化は、バニラGCNにおける勾配フローと性能を向上させられるか？
• RQ3 勾配フローに基づく動的スキップ接続挿入は、静的または直感的なスキップ接続よりも、深層GCNにおいて効果的か？
• RQ4 改善された勾配フロー機構を備えたバニラGCNは、SOTA性能を達成できるか？

主な発見

• 提案されたトポロジーに配慮した等長初期化は、深層バニラGCNにおける勾配フローを顕著に改善し、すべてのベンチマークデータセットで収束が速くなり、性能が向上した。
• 勾配に従う動的再接続は、トレーニング中に勾配信号が弱い層を的確に同定し、バックプロパゲーションにおけるほぼゼロの勾配を持つ層の数を削減した。
• 改善された初期化と動的再接続の組み合わせにより、層間でディリクレエネルギーが維持され、トレーニング中に埋め込み表現の表現力が損なわれなくなった。
• Cora, PubMed, Citeseerの各データセットにおいて、単一のバニラGCNを用いても、多くの複雑なGNNアーキテクチャを上回る、最先端または準SOTAの性能を達成した。
• 標準的なGCNで観察されるディリクレエネルギーの指数的減少を、本手法は軽減し、深層部におけるノード表現の多様性と表現力を保持した。