[論文レビュー] Effective Training Strategies for Deep Graph Neural Networks.

Kuangqi Zhou, Yanfei Dong+4 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Graph Neural Networks参考文献 1被引用数 21

ひとこと要約

この論文は、過剰平滑化だけでなく、訓練の難易度と過学習が、深層グラフ畳み込みネットワーク（GCNs）における性能低下の主な要因であると特定する。本論文では、各ノードの統計を用いてノード自身を正規化するノード正規化（NodeNorm）を提案する。これにより、隠れ埋め込み内の特徴ごとの相関を低減し、モデルの滑らかさを向上させ、訓練を安定化させ、深層GNNが浅層GNNを上回ることを可能にする。

ABSTRACT

Graph Neural Networks (GNNs) tend to suffer performance degradation as model depth increases, which is usually attributed in previous works to the oversmoothing problem. However, we find that although oversmoothing is a contributing factor, the main reasons for this phenomenon are training difficulty and overfitting, which we study by experimentally investigating Graph Convolutional Networks (GCNs), a representative GNN architecture. We find that training difficulty is caused by gradient vanishing and can be solved by adding residual connections. More importantly, overfitting is the major obstacle for deep GCNs and cannot be effectively solved by existing regularization techniques. Deep GCNs also suffer training instability, which slows down the training process. To address overfitting and training instability, we propose Node Normalization (NodeNorm), which normalizes each node using its own statistics in model training. The proposed NodeNorm regularizes deep GCNs by discouraging feature-wise correlation of hidden embeddings and increasing model smoothness with respect to input node features, and thus effectively reduces overfitting. Additionally, it stabilizes the training process and hence speeds up the training. Extensive experiments demonstrate that our NodeNorm method generalizes well to other GNN architectures, enabling deep GNNs to compete with and even outperform shallow ones. Code is publicly available.

研究の動機と目的

• 過剰平滑化を超えた深層グラフニューラルネットワークにおける性能低下の根本的要因を調査すること。
• 深層GCNの訓練における主な障害要因としての訓練の難易度と過学習を特定すること。
• 深層GNNにおける過学習を効果的に緩和する正則化技術を開発すること。
• 深層GCNアーキテクチャにおける訓練の安定性と速度を向上させること。
• さまざまなGNNアーキテクチャに一般化可能な手法を提案すること。

提案手法

• 訓練中に各ノードの隠れ表現をそのノード自身の統計を用いて正規化するノード正規化（NodeNorm）を提案する。
• バッチごとにノード単位でバッチ正規化を適用し、各ノードの平均と分散を計算することで、隠れ埋め込み内の特徴ごとの相関を低減する。
• ノードごとに独立して動作する正規化層を導入し、入力特徴に対するモデルの滑らかさを向上させる。
• 勾配消失を軽減するために残差接続を用いることで、訓練の安定性を向上させる。
• 残差接続とNodeNormを組み合わせ、勾配消失と過学習の両方を同時に緩和する。
• ノード固有の統計を用いて隠れ表現の滑らかさと非相関性を促進する訓練目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 過剰平滑化を超えて、深層GCNにおける性能低下の主な要因は何であるか？
• RQ2 訓練の難易度と過学習は、深層GNNにおける性能低下にどの程度寄与しているか？
• RQ3 既存の正則化技術で深層GCNの過学習を効果的に緩和できるか？
• RQ4 ノード単位の正規化は、深層GNNにおける訓練の安定性と一般化性能をどのように向上させるか？
• RQ5 提案されたNodeNorm手法は、さまざまなGNNアーキテクチャに一般化可能か？

主な発見

• 深層GCNにおける訓練の難易度は主に勾配消失に起因し、残差接続により効果的に緩和される。
• 過学習が深層GCNにおける主な障害であり、標準的な正則化技術では十分に対処できない。
• NodeNormは、隠れ埋め込み内の特徴ごとの相関を抑えることで、過学習を顕著に低減する。
• NodeNormは入力ノード特徴に対するモデルの滑らかさを向上させ、一般化性能を改善する。
• 残差接続とNodeNormの組み合わせにより、訓練が安定化し、収束が加速する。
• 広範な実験により、NodeNormを備えた深層GNNが、複数のベンチマークおよびアーキテクチャで浅層GNNを上回ることを示した。