[論文レビュー] Training Matters: Unlocking Potentials of Deeper Graph Convolutional Neural Networks

Sitao Luan, Mingde Zhao+2 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Graph Neural Networks参考文献 30被引用数 7

ひとこと要約

この論文は、深層グラフ畳み込みネットワーク（GCNs）が本質的な表現力に制限を受けるという一般的な信念に挑戦し、代わりにバックプロパゲーション中のグラフ信号エネルギー損失が主な原因であると特定する。トポロジー再スケーリング、重み正則化、エネルギー正則化、スキップ接続（追加パラメータなし）を導入することで、訓練の難易度を顕著に低減し、モデル容量を変更せずにノード分類タスクで顕著な性能向上を達成した。

ABSTRACT

The performance limit of Graph Convolutional Networks (GCNs) and the fact that we cannot stack more of them to increase the performance, which we usually do for other deep learning paradigms, are pervasively thought to be caused by the limitations of the GCN layers, including insufficient expressive power, etc. However, if so, for a fixed architecture, it would be unlikely to lower the training difficulty and to improve performance by changing only the training procedure, which we show in this paper not only possible but possible in several ways. This paper first identify the training difficulty of GCNs from the perspective of graph signal energy loss. More specifically, we find that the loss of energy in the backward pass during training nullifies the learning of the layers closer to the input. Then, we propose several methodologies to mitigate the training problem by slightly modifying the GCN operator, from the energy perspective. After empirical validation, we confirm that these changes of operator lead to significant decrease in the training difficulties and notable performance boost, without changing the composition of parameters. With these, we conclude that the root cause of the problem is more likely the training difficulty than the others.

研究の動機と目的

• 深層GCNが本質的な表現力に制限を受けるという仮定に挑戦すること。
• 特にバックプロパゲーション中の信号エネルギー損失が、深層GCNの性能に悪影響を及えるかどうかを調査すること。
• モデルパラメータ数を増やさず、アーキテクチャを変更せずに最適化を改善する訓練時修正手法を提案すること。
• 標準的なGCNベンチマークにおいて、より良い訓練が顕著な性能向上をもたらすことを実証的に検証すること。
• GCNの性能限界が構造的不足ではなく、訓練の不安定さに起因することを示すこと。

提案手法

• 自己ループ解像度パラメータを学習することで、グラフ演算子（例：再正規化ラプラシアン）を調整するトポロジー再スケーリング（TR）を提案。
• グラフ信号エネルギーに基づいて隠れ表現を正規化することで、勾配フローを安定化するエネルギー正則化を導入。
• GCN重みの最適化ダイナミクスを改善するため、重み正則化を適用。
• 結合を伴わないスキップ接続を用いて勾配フローを維持し、勾配消失を軽減。
• 初期勾配不安定性を軽減するため、慎重な重み初期化を実施。
• これらの技術を統合した訓練手順を構築し、訓練の安定性と収束性を向上。

実験結果

リサーチクエスチョン

• RQ1 深層GCNの性能限界は、表現力の不足にあるのか、訓練の難易度にあるのか？
• RQ2 バックプロパゲーション中のグラフ信号エネルギー損失が、より深いGCN層の訓練にどのように影響するか？
• RQ3 モデルアーキテクチャを変更せずに、エネルギー損失を低減し最適化を改善する訓練手順を変更可能か？
• RQ4 トポロジー再スケーリング、正則化、スキップ接続のうち、どの訓練手法が深層GCNにおける訓練難易度を最も効果的に軽減するか？
• RQ5 改善された訓練そのもので、構造的変更なしに標準GCNアーキテクチャの潜在的性能を十分に引き出せるか？

主な発見

• 提案手法による訓練修正により、同一のパラメータ構成のまま、訓練損失は50%以上低下し、訓練精度は6倍以上向上した。
• テストセット性能も顕著に向上：Coraでは、最良の手法を用いた微調整後、精度が74.66%から83.52%に上昇した。
• PubMedでは、最良の手法が79.20%の精度を達成し、ベースラインから5.19%の絶対的向上を示した。
• すべてのデータセットで統計的に有意な向上が得られ、20回の実行における標準偏差が低く、一貫性のある向上が確認された。
• 結果から、深層GCNにおける性能限界は構造的制限ではなく、訓練の不安定さが主因であると確認された。
• トポロジー再スケーリング、重み正則化、エネルギー正則化、スキップ接続の組み合わせが、パラメータ追加なしに最も顕著な性能向上をもたらした。