[論文レビュー] Unifying Graph Convolutional Neural Networks and Label Propagation

Hongwei Wang, Jure Leskovec|arXiv (Cornell University)|Feb 17, 2020

Advanced Graph Neural Networks参考文献 31被引用数 100

ひとこと要約

この論文は理論的に Label Propagation (LPA) と Graph Convolutional Networks (GCN) を関連づけ、その後 learnable edge weights を持つ統一的な end-to-end モデルである GCN-LPA を提案します。これにより LPA で GCN を正則化し、ノード分類を改善します。

ABSTRACT

Label Propagation (LPA) and Graph Convolutional Neural Networks (GCN) are both message passing algorithms on graphs. Both solve the task of node classification but LPA propagates node label information across the edges of the graph, while GCN propagates and transforms node feature information. However, while conceptually similar, theoretical relation between LPA and GCN has not yet been investigated. Here we study the relationship between LPA and GCN in terms of two aspects: (1) feature/label smoothing where we analyze how the feature/label of one node is spread over its neighbors; And, (2) feature/label influence of how much the initial feature/label of one node influences the final feature/label of another node. Based on our theoretical analysis, we propose an end-to-end model that unifies GCN and LPA for node classification. In our unified model, edge weights are learnable, and the LPA serves as regularization to assist the GCN in learning proper edge weights that lead to improved classification performance. Our model can also be seen as learning attention weights based on node labels, which is more task-oriented than existing feature-based attention models. In a number of experiments on real-world graphs, our model shows superiority over state-of-the-art GCN-based methods in terms of node classification accuracy.

研究の動機と目的

• ラベル伝搬とグラフ畳み込みネットワークを統合して、グラフ上のノード分類を改善する動機づけ。
• LPAとGCNにおける特徴量の平滑化とラベルの平滑化と影響を理論的に分析する。
• エッジ重みを学習する統一的なエンドツーエンドモデル（GCN-LPA）を開発し、同一クラスの connectivity を強化しラベル分離を高める。
• LPA 正則化がより良いエッジ重みの学習を促し、分類精度を改善することを示す。

提案手法

• 隣接行列 A、特徴量 X、ラベル Y をもつグラフ上で LPA と GCN を用いたノード分類を定式化する。
• GCN の特徴量平滑化と LPA のラベル平滑化が共有の平滑化原理に従い、定理1 を通じて関係を確立する。
• 特徴量の影響 I_f とラベルの影響 I_l を定義して GCN と LPA を結ぶ（定理2および3）。
• 最適なエッジ重み A* を LPA 損失を最小化することで学習し、その後 A* で GCN を訓練する（式 15–17）。
• エンドツーエンドの目的関数 L_gcn(W,A) + λ L_lpa(A) を組み合わせて共同訓練する（式 18）。
• A* を同カテゴリ内のエッジ強調を学習することとして解釈し、同一クラスの connectivity とラベル分離を強化する。

実験結果

リサーチクエスチョン

• RQ1 GCN における特徴量の平滑化と LPA におけるラベルの平滑化との理論的関係は何か？
• RQ2 エッジ重みを学習して同一クラス内の接続を強化し、ノード分類を改善するにはどうすればよいか？
• RQ3 エンドツーエンドの枠組みで GCN と LPA を統合することは、標準的なグラフデータセット上で従来の GCN および LPA のベースラインを上回るか？
• RQ4 LPA 正則化は学習の安定性およびノイズの多いエッジに対する堅牢性にどのような影響を与えるか？

主な発見

• GCN と LPA はどちらもグラフのエッジ上で平滑化を行う。高精度の特徴量平滑化は近似的なラベル平滑化を意味する（定理1）。
• ノードに対する特徴量の影響は、累積正規化特徴量影響を介してラベルの影響と関連する（定理2）。
• 同一クラス内のラベル影響は LPA の精度を高く相関し、LPA 損失を最小化してエッジ重みを学習すると同一クラス連結性が向上する（定理3）。
• 統一された GCN-LPA モデルはエッジ重みと GCN パラメータをエンドツーエンドで学習し、LPA 正則化がエッジ重み学習を援力する（式 18）。
• GCN-LPA は five dataset で最先端のベースラインよりもノード分類精度が向上する（Table 2）。
• GCN-LPA はノイズの多いエッジに対して同一クラス接続を強化しつつ訓練効率を維持することで堅牢性を示す（図 2、Table 2）。
• five dataset で GCN-LPA は MLP、LR、LPA、GCN、GAT、JK-Net、GraphSAGE のベースラインより平均精度が高い（Table 2）。