[論文レビュー] Node Similarity Preserving Graph Convolutional Networks

Wei Jin, Tyler Derr+4 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Graph Neural Networks参考文献 47被引用数 13

ひとこと要約

本稿では、学習可能なアテンションと自己教師型類似度学習を通じて、グラフ構造とノード特徴量のバランスを動的に調整することにより、ノード類似度を保持するグラフ畳み込みネットワーク、SimP-GCNを提案する。メッセージパッシング中に類似度の破壊を軽減し、低次数ノードや敵対的摂動を受けるノードの性能を向上させることで、多様なグラフ、特に非同調的グラフにおいてベースラインを上回る性能を発揮する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved tremendous success in various real-world applications due to their strong ability in graph representation learning. GNNs explore the graph structure and node features by aggregating and transforming information within node neighborhoods. However, through theoretical and empirical analysis, we reveal that the aggregation process of GNNs tends to destroy node similarity in the original feature space. There are many scenarios where node similarity plays a crucial role. Thus, it has motivated the proposed framework SimP-GCN that can effectively and efficiently preserve node similarity while exploiting graph structure. Specifically, to balance information from graph structure and node features, we propose a feature similarity preserving aggregation which adaptively integrates graph structure and node features. Furthermore, we employ self-supervised learning to explicitly capture the complex feature similarity and dissimilarity relations between nodes. We validate the effectiveness of SimP-GCN on seven benchmark datasets including three assortative and four disassorative graphs. The results demonstrate that SimP-GCN outperforms representative baselines. Further probe shows various advantages of the proposed framework. The implementation of SimP-GCN is available at \url{https://github.com/ChandlerBang/SimP-GCN}.

研究の動機と目的

• 標準的なGCNが、特に非同調的または敵対的摂動を受けるグラフにおいて、メッセージパッシング中にノード類似度を破壊する問題に対処すること。
• 集約プロセス中に、データ駆動的かつ適応的にグラフ構造とノード特徴量からの情報をバランスさせること。
• 自己教師型学習を用いて、複雑なペアワイズノード類似度関係を明示的にモデル化すること。
• 低次数ノードにおける性能向上と、深層GCNにおける過剰平滑化の緩和。
• 構造的インダクティブバイアスを活用しつつ、元の特徴空間における類似度を維持するフレームワークの構築。

提案手法

• 学習可能なパラメータを用いて、元のグラフ隣接行列と特徴量に基づく類似度グラフを適応的に組み合わせる類似度保持型アグリゲーションを導入する。
• 隠れ表現からペアワイズノード特徴量類似度を予測する自己教師型事前タスクを採用し、類似度関係を明示的に符号化する。
• ノードごとに構造と特徴量の寄与度を動的に調整するため、学習可能な自己ループ行列とスコアベクトルを用いる。
• 構造的および特徴量ベースの近傍情報の両方を微分可能かつ適応的に統合する、修正された伝搬行列を提案する。
• 2段階の訓練プロセスを適用：自己教師型類似度予測による事前学習の後、下流タスクでのファインチューニング。
• 交差エントロピー損失と対照的損失の組み合わせにより、エンドツーエンドでモデルを訓練し、類似度の保持を促進する。

Figure 1. An overall framework of the proposed SimP-GCN.

実験結果

リサーチクエスチョン

• RQ1 標準的なGCNのアグリゲーションプロセスは、元の特徴空間におけるノード類似度を本質的に破壊するものか？
• RQ2 構造的および特徴量ベースの近傍情報の両方を適応的にバランスさせるグラフ畳み込み機構を設計できるか？
• RQ3 自己教師型学習は、複雑なペアワイズノード類似度関係を効果的に捉え、保持できるか？
• RQ4 構造的情報が信頼性が低い非同調的グラフにおいて、SimP-GCNはどのように性能を発揮するか？
• RQ5 学習可能なコンponents（スコアベクトルと自己ループ行列）は、性能向上にどの程度寄与しているか？

主な発見

• 非同調的であるActorデータセットでは、SimP-GCNはGCNと比較して、元のグラフと隠れグラフの重複率を約10%向上させる。
• 非同調的グラフにおいて、SimP-GCNは隠れグラフと元のグラフの重複率を低下させることで、元の特徴空間類似度のより良い保持を示している。
• Corn.データセットでは、SimP-GCNは84.05%のテスト精度を達成し、GCNの52.70%を著しく上回る。
• アブレーションスタディにより、自己教師型学習コンponentと学習可能な対角行列の両方が性能向上に寄与していることが確認され、特にSSLが最大の向上をもたらした。
• 学習されたスコアベクトルと自己ループ行列はノードごとに異なることが示され、適応的動作が確認された—特に非同調的グラフでは自己ループ重みが高くなる傾向にあり、特徴量への依存度が高まっている。
• Coraのような同調的グラフでは、モデルは特徴量グラフにより依存するが、Wisconsinのような非同調的グラフでは、より強い自己ループが使用され、動的適応の兆候が示された。

(a) Cora