[論文レビュー] Tackling Over-Smoothing for General Graph Convolutional Networks

Wenbing Huang, Yu Rong+3 more|arXiv (Cornell University)|Aug 22, 2020

Advanced Graph Neural Networks参考文献 46被引用数 62

ひとこと要約

論文は一般的な GCN における過平滑を分析し、深層ネットワークで直方体への収束を証明し、理論と実験を通じてそれを緩和する DropEdge を提案する。

ABSTRACT

Increasing the depth of GCN, which is expected to permit more expressivity, is shown to incur performance detriment especially on node classification. The main cause of this lies in over-smoothing. The over-smoothing issue drives the output of GCN towards a space that contains limited distinguished information among nodes, leading to poor expressivity. Several works on refining the architecture of deep GCN have been proposed, but it is still unknown in theory whether or not these refinements are able to relieve over-smoothing. In this paper, we first theoretically analyze how general GCNs act with the increase in depth, including generic GCN, GCN with bias, ResGCN, and APPNP. We find that all these models are characterized by a universal process: all nodes converging to a cuboid. Upon this theorem, we propose DropEdge to alleviate over-smoothing by randomly removing a certain number of edges at each training epoch. Theoretically, DropEdge either reduces the convergence speed of over-smoothing or relieves the information loss caused by dimension collapse. Experimental evaluations on simulated dataset have visualized the difference in over-smoothing between different GCNs. Moreover, extensive experiments on several real benchmarks support that DropEdge consistently improves the performance on a variety of both shallow and deep GCNs.

研究の動機と目的

• 一般的な GCN、GCN-b、ResGCN、および APPNP において、なぜより深い GCN が過平滑を生じるのかを説明する。
• 非線形性の下での深い GCN の漸近的挙動を特徴づける。
• 過平滑を緩和する DropEdge を提案し、その理論的影響を分析する。
• 複数のノード分類ベンチマークで DropEdge の実証的改善を示す。

提案手法

• 拡張正規化隣接行列と、それの上位固有ベクトルが張る部分空間 M を定義する。
• 複数の GCN 変種に対して、直方体 O(M, r) への収束を示す一般的過平滑定理を証明する。
• DropEdge を導入する。訓練中に確率 p でエッジをランダムに削除し、再正規化する。
• DropEdge がスペクトル半径の境界を拡大し、過平滑への収束を遅らせることを示す理論的境界を提供する。
• DropEdge がデータ拡張として機能し、メッセージ伝搬を減少させることを示す。
• 複数のベンチマークにわたり、浅いおよび深い GCN バックボーンで DropEdge を評価する。

実験結果

リサーチクエスチョン

• RQ1 深さが増すと一般的な deep GCN が低分散表現（過平滑）へ収束するのはなぜか？
• RQ2 GCN-b、ResGCN、APPNP などの変種は、部分空間や直方体への収束の点でどのように異なるか？
• RQ3 単純なエッジ削除戦略（DropEdge）が、これらのモデル全体で理論的にも経験的にも過平滑を緩和できるか？
• RQ4 訓練中のモデル表現力と安定性に対する DropEdge の影響は何か？

主な発見

• 4 つのモデルすべてが、無限深においてサブスペースではなく直方体へ収束し、半径 r はモデルに依存する。
• GCN without bias がゼロ半径のサブスペースへ収束し、過平滑を確認できる。
• GCN with bias and APPNP は非零半径の直方体へ収束し、情報喪失を遅らせる。
• DropEdge は有効スペクトル境界（lambda）を増やし、過平滑の速度を低下させる。
• DropEdge は過学習に対する正則化として、また実効表現空間を広げることによって情報を保持するメカニズムとして機能する。
• 経験的な結果は、DropEdge が浅いおよび深い GCN 変種の両方で、複数のノード分類ベンチマークにおいて性能を向上させることを示す。