[論文レビュー] GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

Tianle Cai, Shengjie Luo+4 more|arXiv (Cornell University)|Sep 7, 2020

Advanced Graph Neural Networks参考文献 71被引用数 74

ひとこと要約

GraphNormはGraph InstanceNormに学習可能なシフトを追加することでGNNの学習を改善し、正則グラフ上の情報損失を緩和し、BatchNorm、LayerNorm、InstanceNorm、またはノーロンの正規化よりも収束を速め、一般化を改善します。

ABSTRACT

Normalization is known to help the optimization of deep neural networks. Curiously, different architectures require specialized normalization methods. In this paper, we study what normalization is effective for Graph Neural Networks (GNNs). First, we adapt and evaluate the existing methods from other domains to GNNs. Faster convergence is achieved with InstanceNorm compared to BatchNorm and LayerNorm. We provide an explanation by showing that InstanceNorm serves as a preconditioner for GNNs, but such preconditioning effect is weaker with BatchNorm due to the heavy batch noise in graph datasets. Second, we show that the shift operation in InstanceNorm results in an expressiveness degradation of GNNs for highly regular graphs. We address this issue by proposing GraphNorm with a learnable shift. Empirically, GNNs with GraphNorm converge faster compared to GNNs using other normalization. GraphNorm also improves the generalization of GNNs, achieving better performance on graph classification benchmarks.

研究の動機と目的

• グラフニューラルネットワーク（GNN）における正規化の必要性を動機づけ、理解する。
• 既存の正規化手法（BatchNorm、LayerNorm、InstanceNorm）をGNNに適用した場合を評価する。
• グラフにおけるInstanceNormとBatchNormの限界を特定する。
• 前処理特性を保持しつつ表現力の低下を克服するGraphNormを提案する。
• GraphNormがトレーニングを加速し、ベンチマーク全体で一般化を改善することを示す。

提案手法

• 線形/集約ステップの後に正規化を適用して、BatchNorm、LayerNorm、InstanceNormをGNNに適応させる。
• InstanceNormのシフトがGNNの集約の前処理として機能する理由と、なぜBatchNormがグラフのバッチノイズの影響を受けるのかを分析する。
• 標準のInstanceNormのシフトが高度に正則なグラフで表現力を低下させうることを示す。
• グラフ情報を保持するため、特徴次元ごとの学習可能なシフトパラメータを持つGraphNormを導入する。
• 理論的直感と、8つのグラフ分類ベンチマークにわたる経験的検証を提供する。
• GraphNormをBatchNorm、InstanceNorm、LayerNorm、および正規化なしと比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的な正規化スキーム（BatchNorm、LayerNorm、InstanceNorm）は、GNNアーキテクチャに組み込まれたときどのように機能しますか？
• RQ2 なぜInstanceNormはGNNの学習を加速させ、なぜそのシフトが正則グラフで表現力を損なうことがあるのですか？
• RQ3 グラフ正規化の学習可能なシフトは、加速効果を保ちながら重要なグラフ情報を保持できますか？
• RQ4 GraphNormは多様なグラフデータセットとアーキテクチャ（GIN/GCN）全体で収束速度と一般化を改善しますか？

主な発見

• InstanceNormは、グラフの集約の前処理として作用することで、BatchNormやLayerNormよりもGNNの学習を加速させる。
• BatchNormはグラフデータ上で大きなバッチノイズの影響を受けるため、GNN最適化にはあまり効果的でない。
• インスタンス正規化の固定シフトは、有意義な平均統計情報を取り除くことにより、高度に正則なグラフで表現力を低下させる。
• GraphNormは特徴次元ごとには学習可能なシフトを導入し、重要な平均情報を保持して収束を改善する。
• 実証的には、GraphNormは複数のグラフベンチマークにおいて、収束速度と一般化の点で他の正規化手法を上回る。