[論文レビュー] Dissecting the Diffusion Process in Linear Graph Convolutional Networks

Yifei Wang, Yisen Wang+2 more|arXiv (Cornell University)|Feb 22, 2021

Advanced Graph Neural Networks参考文献 33被引用数 17

ひとこと要約

本稿では、端末時間 $T$ を伝搬ステップ数 $K$ から分離することで、連続的グラフ拡散の微細な近似を可能にする線形グラフ畳み込みネットワーク、Decoupled Graph Convolution (DGC) を提案する。$T$ を固定し $K$ を増加させることで、過剰な平滑化を回避し、線形GCNの中で最先端の性能を達成する。SGCを凌ぎ、非線形GCNと同等の性能を発揮しながらも、計算効率を維持する。

ABSTRACT

Graph Convolutional Networks (GCNs) have attracted more and more attentions in recent years. A typical GCN layer consists of a linear feature propagation step and a nonlinear transformation step. Recent works show that a linear GCN can achieve comparable performance to the original non-linear GCN while being much more computationally efficient. In this paper, we dissect the feature propagation steps of linear GCNs from a perspective of continuous graph diffusion, and analyze why linear GCNs fail to benefit from more propagation steps. Following that, we propose Decoupled Graph Convolution (DGC) that decouples the terminal time and the feature propagation steps, making it more flexible and capable of exploiting a very large number of feature propagation steps. Experiments demonstrate that our proposed DGC improves linear GCNs by a large margin and makes them competitive with many modern variants of non-linear GCNs.

研究の動機と目的

• 線形GCN（例：SGC）が計算効率に優れるにもかかわらず、より多くの伝搬ステップを用いても性能向上が得られない理由を解明すること。
• SGCにおける性能劣化の根本的要因が、固定された粗い有限差分ステップサイズ $\Delta t = 1$ に起因し、大きな数値誤差と過剰な平滑化を引き起こすことに起因することを特定すること。
• 端末時間 $T$ と伝搬ステップ数 $K$ を分離する手法を提案し、拡散プロセスに対する柔軟な制御を可能にすること。
• 適切に設計された線形GCNが、最新の非線形GCNバリアントを上回るか同等の性能を発揮できることを示すこと。
• 今後のGCN研究のための強力で効率的かつ理論的根拠を持つベースラインとしてDGCを確立すること。

提案手法

• DGCは端末時間 $T$ を伝搬ステップ数 $K$ から分離し、最適な平滑化トレードオフを実現するための連続的な $T$ 選択を可能にする。
• 連続時間拡散フレームワークを用い、グラフ畳み込みを拡散PDEの解としてモデル化し、$T$ を全拡散時間を表す。
• $K$ を増加させることで細分化された有限差分スキームにより特徴伝搬を近似し、SGCの固定された $\Delta t = 1$ に比べて数値誤差を低減する。
• 数値積分にオイラー法を採用しており、十分かつ効率的であり、実際にはルンゲ・クッタなどの高次スキームを上回る性能を示す。
• 自己ループを含む $\mathbf{L} = \mathbf{I} - \mathbf{S}$ と対称的な $\mathbf{L}_{\rm sym} = \mathbf{I} - \mathbf{S}_{\rm sym}$ の2種類のラプラシアン定式化を評価し、前者が優れた性能を示した。
• 最適端末時間 $T^*$ はデータセット固有の内在的性質であり、Pubmedでは $T^* = 6.0$、Redditでは $T^* = 2.7$ であると判明した。

実験結果

リサーチクエスチョン

• RQ1 線形GCN（例：SGC）が単純で効率的であるにもかかわらず、伝搬ステップ数を増やすと性能が劣化する理由は何か？
• RQ2 SGCの有限差分近似における固定ステップサイズ $\Delta t = 1$ が、拡散プロセスの精度と安定性にどのように影響するか？
• RQ3 端末時間 $T$ を伝搬ステップ数 $K$ から分離することで、連続的グラフ拡散のより良い近似が可能になり、過剰な平滑化が軽減されるか？
• RQ4 実世界のグラフデータセットにおける最適端末時間 $T^*$ は何か？また、異なるラプラシアン定式化間で一貫性があるか？
• RQ5 適切に設計された線形GCNは、最新の非線形GCNバリアントと比較して、精度と効率の両面で優れた性能を発揮できるか？

主な発見

• DGCはSGCを著しく上回り、Pubmedでは80.3%、Redditでは95.8%のテスト精度を達成し、SGCを上回り、多くの非線形GCNバリアントと同等または上回る性能を示した。
• 最適端末時間 $T^*$ はPubmedで6.0、Redditで2.7であることが判明し、$T^*$ がデータセット固有の内在的性質であることが示された。
• 自己ループを含む拡張ラプラシアン $\mathbf{L} = \mathbf{I} - \mathbf{S}$ を用いることで、$\mathbf{L}_{\rm sym}$ よりも高い精度が得られ、収束に必要なステップ数も少なくなる。
• $T$ を固定したまま $K$ を増加させることで性能向上が達成され、過剰な平滑化を回避していることから、DGCがSGCの根本的欠陥を解消していることが示された。
• Pubmedでは $K=100$ のDGCで総訓練時間が225.0 ms（SGCは65.3 ms）であったが、顕著に高い精度を達成しており、非線形GCNの100倍以上も高速であった。
• オイラー法がDGCに十分であることが確認され、ルンゲ・クッタなどの高次スキームは $K$ の増加に伴い利得が減少し、提案手法の効率性を裏付けた。