[論文レビュー] Revisiting Over-smoothing in Deep GCNs

Chaoqi Yang, Ruijie Wang+3 more|arXiv (Cornell University)|Mar 30, 2020

Advanced Graph Neural Networks参考文献 41被引用数 56

ひとこと要約

本論文は深い GCN をグラフ正則化付き MLP の伝播と教師付き訓練を交互に行うと再解釈し、深い GCN が訓練中に過滑化を抑制できることを示し、訓練を加速する安価な平均引き算のテクニックを導入する。

ABSTRACT

Oversmoothing has been assumed to be the major cause of performance drop in deep graph convolutional networks (GCNs). In this paper, we propose a new view that deep GCNs can actually learn to anti-oversmooth during training. This work interprets a standard GCN architecture as layerwise integration of a Multi-layer Perceptron (MLP) and graph regularization. We analyze and conclude that before training, the final representation of a deep GCN does over-smooth, however, it learns anti-oversmoothing during training. Based on the conclusion, the paper further designs a cheap but effective trick to improve GCN training. We verify our conclusions and evaluate the trick on three citation networks and further provide insights on neighborhood aggregation in GCNs.

研究の動機と目的

• 深い GCN におけるオーバースムージングの役割を明確にし、学習前後の訓練動態を区別する。
• グラフ正則化と教師付き訓練を組み合わせた二段階最適化としての GCN の理論的見解を提案する。
• 深い GCN の訓練を加速・安定化させる実践的技術を特定する。
• 近傍集約と初期化が深い GCN に与える影響について実証的洞察を提供する。

提案手法

• GCN を二段階プロセスとして再定式化する：STEP1 は層ごとの伝播を介してグラフ正則化子を最小化し、前方伝播に Lreg を埋め込む；STEP2 は経験損失 L0 を最小化してネットワークを訓練する。
• 訓練前は前方伝播が Lreg を最小化するため深い GCN が過滑化を起こすことを示す；訓練中は Wl の最適化が過滑化を緩和（反過滑化）し L0 に適合させる。
• 層ごとの平均引き算が Fiedler ベクトルを近似し、訓練を加速する粗いグラフ分割を提供する、という意味を導出する。
• η の集約重みの役割と η-GCN 実験における近傍情報の重み付けとの関係を分析する。
• 平均引き算を PairNorm や BatchNorm と比較し、追加のパラメータなしで速度と安定性の利点を強調する。

実験結果

リサーチクエスチョン

• RQ1 深い GCN における性能低下の根本原因は過滑化か、それとも訓練動態が過滑化を抑制できるのか。
• RQ2 単純なコツ（平均引き算）で深い GCN の訓練を加速・安定化でき、モデルの複雑さを増さずに済むのか。
• RQ3 近傍集約の重み付けは浅い GCN と深い GCN の性能にどのように影響するのか。
• RQ4 二段階の最適化視点（グラフ正則化 + 教師付き訓練）と観測される訓練動態との関係は何か。

主な発見

モデルの深さ	w(η) = 0	w(η) = 0.1	w(η) = 0.2	w(η) = 0.5	w(η) = 1.0	w(η) = 2	w(η) = 5	w(η) = 10	w(η) = 20	w(η) = 50	w(η) = 100
2-layer	92.66	95.67	96.32	96.05	95.33	94.54	93.44	93.30	92.82	92.86	92.98
2-layer	50.75	74.99	78.11	80.38	81.23	80.90	79.82	80.01	80.50	79.77	79.10
32-layer	95.02	99.49	99.58	99.35	98.69	98.10	98.84	98.83	98.81	98.76	98.83
32-layer	39.93	72.53	73.59	73.65	74.03	75.11	74.96	75.08	75.49	74.64	74.74

• 訓練前には Deep GCN が過滑化を示すが、訓練中には反過滑化を学習する。過剰適合が非常に深いモデルの性能低下の主要因であると提案される。
• 層ごとの平均引き算は訓練を大幅に高速化し、堅牢な改善をもたらす。これにより収束が早まり、テスト精度が競争力を持つ。
• 平均引き算の手法は Fiedler ベクトルを近似し、訓練効率を Dataset 全体で高める粗いグラフ分割を提供する。
• 2層 GCN では近傍集約重みを増やすとテスト精度はある点まで向上し、それ以上は頭打ちになる；32層 GCN ではより大きな重みが高い訓練精度を保つ一方テスト精度は dataset によりばらつく。深さ依存の動態を強調。
• SGC（線形 GCN）は深さとともに過滑化を示す一方、訓練済み GCN は重みと非線形性の最適化でこれを回避でき、反過滑化の見方を支持する。
• 平均引き算はテスト精度で PairNorm より優れており、訓練時間も速く、分散も小さい。