[論文レビュー] On the Equivalence of Decoupled Graph Convolution Network and Label Propagation

Hande Dong, Jiawei Chen+5 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 46被引用数 10

ひとこと要約

本稿では、分離型グラフ畳み込みネットワーク（GCN）が理論的に2段階のラベル伝播プロセスと同等であることを証明している。まず、既知のラベルを伝播させて未ラベルノードの仮ラベルを生成し、次に拡張されたデータでニューラルネットワークを訓練する。この方法は、構造的ノイズおよび過剰平滑化に対して頑健であるが、ラベルノイズおよび初期化に敏感である。その理由を解明した上で、仮ラベルに構造的・モデルに配慮した適応的重み付けを行う新たなラベル伝播手法PTAを提案。従来の分離型GCNよりも精度と頑健性が向上する。

ABSTRACT

The original design of Graph Convolution Network (GCN) couples feature transformation and neighborhood aggregation for node representation learning. Recently, some work shows that coupling is inferior to decoupling, which supports deep graph propagation better and has become the latest paradigm of GCN (e.g., APPNP and SGCN). Despite effectiveness, the working mechanisms of the decoupled GCN are not well understood. In this paper, we explore the decoupled GCN for semi-supervised node classification from a novel and fundamental perspective -- label propagation. We conduct thorough theoretical analyses, proving that the decoupled GCN is essentially the same as the two-step label propagation: first, propagating the known labels along the graph to generate pseudo-labels for the unlabeled nodes, and second, training normal neural network classifiers on the augmented pseudo-labeled data. More interestingly, we reveal the effectiveness of decoupled GCN: going beyond the conventional label propagation, it could automatically assign structure- and model- aware weights to the pseudo-label data. This explains why the decoupled GCN is relatively robust to the structure noise and over-smoothing, but sensitive to the label noise and model initialization. Based on this insight, we propose a new label propagation method named Propagation then Training Adaptively (PTA), which overcomes the flaws of the decoupled GCN with a dynamic and adaptive weighting strategy. Our PTA is simple yet more effective and robust than decoupled GCN. We empirically validate our findings on four benchmark datasets, demonstrating the advantages of our method. The code is available at https://github.com/DongHande/PT_propagation_then_training.

研究の動機と目的

• 分離型GCNがGCN分野の新しいパラダイムとなったが、理論的分析が限られていることから、その背後にあるメカニズムを理解すること。
• 分離型GCNが構造的ノイズおよび過剰平滑化に対して頑健である一方で、ラベルノイズおよびモデル初期化に対して感受性を示す理由を解明すること。
• 仮ラベルデータに対する適応的重み付けを導入することで、分離型GCNの限界を克服する新たなラベル伝播手法を開発すること。
• 分離型GCNと2段階のラベル伝播プロセス（ラベル伝播 followed by ニューラルネットワーク訓練）との理論的同等性を確立すること。

提案手法

• 理論的分析により、分離型GCNの学習段階が、まずグラフ全体に既知のラベルを伝播させて未ラベルノードの仮ラベルを生成するプロセスと数学的に同等であることを証明した。
• 2番目の段階では、元のラベル付きデータと生成された仮ラベル付きデータを組み合わせたデータセット上で、標準的なニューラルネットワーク分類器を訓練する。
• 仮ラベル付きノードに適応的重みを動的に割り当てる戦略を採用。その基準は2点：ラベル付きノードからの近接性、および仮ラベルとモデル予測との不一致。
• 提案手法PTA（Propagation then Training Adaptive）は、この適応的重み付け戦略を実装し、頑健性と性能の両方を向上させた。
• モデルは2段階のプロセスを採用：まずラベル伝播で仮ラベルを生成し、次に適応的損失重み付けを用いたエンドツーエンド訓練を実施。
• 勾配比較による実証により、理論的同等性が検証され、分離型GCNと提案された2段階ラベル伝播フレームワークとの間で最適化ダイナミクスが同一であることが示された。

実験結果

リサーチクエスチョン

• RQ1 分離型GCNとラベル伝播の間に根本的な理論的同等性が存在するか？
• RQ2 なぜ分離型GCNは構造的ノイズおよび過剰平滑化に対して頑健であるが、ラベルノイズおよびモデル初期化に対して感受性を示すのか？
• RQ3 分離型GCNの有効性はラベル伝播の観点から説明可能か？また、その洞察は何か？
• RQ4 分離型GCNの長所を保ちつつ、その限界を克服する新たなラベル伝播手法を設計可能か？

主な発見

• 分離型GCNの学習プロセスは、理論的に2段階のラベル伝播と同等である：まず既知のラベルを伝播させて未ラベルノードの仮ラベルを生成し、次に拡張されたデータでニューラルネットワークを訓練する。
• 分離型GCNの有効性は、ラベル伝播によるデータ拡張に起因し、小さなラベル付きデータセットにおける過学習を軽減する。
• 分離型GCNは、構造的およびモデルに配慮した重み付けを仮ラベル付きデータに適用し、ラベル付きノードに近いノードには高い重み、予測と矛盾するノードには低い重みを割り当てる。
• この適応的重み付けが、構造的ノイズおよび過剰平滑化に対して分離型GCNが頑健である理由を説明する。モデルは信頼性の低い仮ラベルを低減する。
• この方法は、ラベルノイズおよびモデル初期化に対して感受性を示す。なぜなら、仮ラベルが初期ラベルとグラフ構造に直接依存しており、誤りが伝播する可能性があるからである。
• 提案されたPTA手法は、4つのベンチマークデータセットにおいて、分離型GCNを上回る精度、頑健性、および効率性を達成し、理論的洞察の妥当性を検証した。