[論文レビュー] DeeperGCN: All You Need to Train Deeper GCNs

Guohao Li, Chenxin Xiong+2 more|arXiv (Cornell University)|Jun 13, 2020

AI in cancer detection参考文献 49被引用数 257

ひとこと要約

本論文は DeeperGCN という、一般化集約、事前活性化残差、および MsgNorm 層を組み合わせた枠組みを提案し、非常に深い GCN の安定訓練と大規模 Open Graph Benchmark データセットでの最先端結果を実現する。

ABSTRACT

Graph Convolutional Networks (GCNs) have been drawing significant attention with the power of representation learning on graphs. Unlike Convolutional Neural Networks (CNNs), which are able to take advantage of stacking very deep layers, GCNs suffer from vanishing gradient, over-smoothing and over-fitting issues when going deeper. These challenges limit the representation power of GCNs on large-scale graphs. This paper proposes DeeperGCN that is capable of successfully and reliably training very deep GCNs. We define differentiable generalized aggregation functions to unify different message aggregation operations (e.g. mean, max). We also propose a novel normalization layer namely MsgNorm and a pre-activation version of residual connections for GCNs. Extensive experiments on Open Graph Benchmark (OGB) show DeeperGCN significantly boosts performance over the state-of-the-art on the large scale graph learning tasks of node property prediction and graph property prediction. Please visit https://www.deepgcns.org for more information.

研究の動機と目的

• 大規模グラフ上で非常に深い GCN を訓練する際の課題（勾配消失、過平滑化、過適合）を動機づけ、対処する。
• GCN の集約関数を統一して学習できる、微分可能な一般化集約フレームワークを導入する。
• 深い GCN の訓練を安定化させるためのアーキテクチャおよび正規化の革新（事前活性化残差、MsgNorm）を開発する。
• Open Graph Benchmark (OGB) データセットで評価し、従来の SOTA 手法より経験的な向上を示す。

提案手法

• 平均、最大、学習可能な補間（SoftMax_Agg および PowerMean_Agg）を網羅する、一般化で微分可能な集約関数を定義する。
• Generalized mean–max ファミリを可能にする、正のメッセージ特徴量を用いる一般化集約子を用いた GCN 変種 GENet を提案する。
• GCN のための事前活性化残差接続（Normalization -> ReLU -> GraphConv -> Addition）を導入し、訓練の安定性を向上させる。
• MsgNorm を開発する。頂点更新前に集約されたメッセージをスケーリング・正規化する層。
• 層ごと・訓練ステップごとに集約パラメータ（beta, p）を動的に学習する DyResGEN 変種を提供する。
• OGB のノードおよびグラフ予測タスクで広範に評価し、素の GCN、ResGCN、SOTA のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 一般化され微分可能な集約関数は、大規模グラフ上で深い GCN の学習可能性と性能を向上させることができるか？
• RQ2 更新されたスキップ接続と新規正規化（MsgNorm）が深い GCN の訓練安定性と精度に与える影響はどのようか？
• RQ3 動的に学習される集約パラメータ（beta, p）は、ノードおよびグラフ予測タスクの性能をさらに向上させるか？
• RQ4 DeeperGCN は異なるタスクで Open Graph Benchmark の最先端結果にどれだけ近づくか、あるいはそれを超えることができるか？

主な発見

• 一般化された mean–max 集約（SoftMax_Agg および PowerMean_Agg）は、一般的な集約器を統一・拡張し、エンドツーエンドで学習可能である。
• 事前活性化残差は性能を向上させ、アグリゲータを超えて（112 層までの深いモデルを実現）訓練を可能にする。
• MsgNorm は特に弱い集約器と組み合わせた場合に、深い GCN の性能を著しく向上させる。
• 集約パラメータを動的に学習する（DyResGEN）は、固定集約器よりさらに改善をもたらし、いくつかのタスクで新しい SOTA を達成。
• OGBN-proteins、OGBN-arxiv、OGBG-ppa、OGBG-molhiv で、DeeperGCN の変種が従来の SOTA を顕著に上回る。