[論文レビュー] Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective

Hongwei Zhang, Tijin Yan+3 more|arXiv (Cornell University)|Sep 24, 2020

Advanced Graph Neural Networks参考文献 57被引用数 9

ひとこと要約

この論文は最適化の視点からグラフ畳み込みネットワーク（GCN）を再考し、深層GCNにおける過剰なスムージングの原因が、解法プロセスにおける単純な一次近似に起因することを特定する。本稿では、普遍的な最適化フレームワークに基づいて導出された新規な畳み込みカーネルGCN+を提案し、過剰なスムージングを低減するとともに、半教師ありノード分類タスクでパラメータ数を減らしても最先端の性能を達成する。

ABSTRACT

Graph convolutional networks (GCNs) have achieved promising performance on various graph-based tasks. However they suffer from over-smoothing when stacking more layers. In this paper, we present a quantitative study on this observation and develop novel insights towards the deeper GCN. First, we interpret the current graph convolutional operations from an optimization perspective and argue that over-smoothing is mainly caused by the naive first-order approximation of the solution to the optimization problem. Subsequently, we introduce two metrics to measure the over-smoothing on node-level tasks. Specifically, we calculate the fraction of the pairwise distance between connected and disconnected nodes to the overall distance respectively. Based on our theoretical and empirical analysis, we establish a universal theoretical framework of GCN from an optimization perspective and derive a novel convolutional kernel named GCN+ which has lower parameter amount while relieving the over-smoothing inherently. Extensive experiments on real-world datasets demonstrate the superior performance of GCN+ over state-of-the-art baseline methods on the node classification tasks.

研究の動機と目的

• 深層GCNにおける過剰なスムージングの根本的要因を、経験的観察を超えて理論的に理解すること。
• 最適化原理に基づく統一的な理論的枠組みをGCNに構築すること。
• 過剰なスムージングを内蔵的に緩和するとともに、パラメータ数を削減する新しいグラフ畳み込みカーネルGCN+を設計すること。
• グラフ構造データにおけるノードレベルでの過剰なスムージングを定量化する指標を導入すること。
• 実世界のノード分類ベンチマークにおいて、GCN+を最先端手法と比較して実証的に検証すること。

提案手法

• ノード表現における正則化最適化問題の解法としてGCNの演算を再定式化する。
• 標準的なGCNが真の解の一次近似に起因することを特定し、これが重要な情報を損なって過剰なスムージングを引き起こすことを示す。
• 2つの指標を提案する：$M_{\textit{smooth}}$ は、接続されたノード間の距離の割合を測定するもので、全距離に対する相対的な距離を評価する。また、非接続ノードのための補完的指標も導入する。
• 一次近似を用いない完全な最適化問題を解くことで、GCN+という新しい畳み込みカーネルを導出する。
• 3つの制約を課す：(a) 元のノード特徴量を保持する、(b) 接続されたノード間の類似性を促進する、(c) 非接続ノード間の相違性を強制する。
• 隣接行列の対称正規化およびランダムウォーク正規化（$\tilde{A}_{\text{sym}}, \tilde{A}_{\text{rw}}$）を用い、安定な伝搬のためにパワー反復法を実行する。

実験結果

リサーチクエスチョン

• RQ1 理論的最適化の観点から、深層GCNにおける過剰なスムージングがなぜ発生するのか？
• RQ2 グローバルな指標を超えて、ノードレベルでの過剰なスムージングをどのように定量化できるか？
• RQ3 元の最適化問題を正確に解くことで、より正確なグラフ畳み込みカーネルを導出できるか？
• RQ4 完全な最適化フレームワークに基づいて導出されたカーネルは、標準的なGCNや最先端のベースラインを上回る性能を示すか？パラメータ数を減らしても？
• RQ5 ハイパーパrameterである$\alpha$, $\beta$, およびパワー反復回数がGCN+の性能にどのように影響するか？

主な発見

• GCN+は、Cora, PubMed, Citeseerを含む多数の実世界データセットで最先端の性能を達成し、GCN, GAT, SGCなどの最先端手法を上回る。
• $M_{\textit{smooth}}$ 指標は、GCN+が増加するホップ数に対しても低く安定したスムージング値を維持していることを示しており、過剰なスムージングに対して耐性があることを示している。
• β ≠ 0（非接続ノードの正則化を含む）のGCN+は、β = 0 のバージョンよりも優れた性能を示しており、3番目の制約の有効性を裏付けている。
• 実験全体を通じて、対称正規化（$\tilde{A}_{\text{sym}}$）がランダムウォーク正規化（$\tilde{A}_{\text{rw}}$）よりもわずかに優れた性能を示している。
• Coraにおいてテスト精度を最大化する最適なハイパーパrameterとして、$\alpha = 9$（つまり、元の特徴量の10%を保持）および$k = 16$または$32$のパワー反復回数が得られた。
• GCN+は、標準的なGCNよりも顕著に少ないパラメータ数で優れた性能を達成しており、精度を損なわず、パラメータ効率性を示している。