[論文レビュー] SLGCN: Structure Learning Graph Convolutional Networks for Graphs under Heterophily.

Mengying Jiang, Guizhong Liu+2 more|arXiv (Cornell University)|May 28, 2021

Advanced Graph Neural Networks参考文献 19被引用数 2

ひとこと要約

SLGCN は、ノード類似度に基づく再接続隣接行列を学習し、アンカーを用いたスペクトルクラスタリングによる特徴集約を強化することで、異性性グラフにおけるグラフニューラルネットワーク（GNN）の限界を克服する。構造と特徴学習を共同で最適化することで、多様なベンチマークデータセットにおいて最先端のGNNを上回る性能を達成し、ノード分類の精度を向上させる。

ABSTRACT

The performances of GNNs for representation learning on the graph-structured data are generally limited to the issue that existing GNNs rely on one assumption, i.e., the original graph structure is reliable. However, since real-world graphs is inevitably noisy or incomplete, this assumption is often unrealistic. In this paper, we propose a structure learning graph convolutional networks (SLGCNs) to alleviate the issue from two aspects, and the proposed approach is applied to node classification. Specifically, the first is node features, we design a efficient-spectral-clustering with anchors (ESC-ANCH) approach to efficiently aggregate feature representationsfrom all similar nodes, no matter how far away they are. The second is edges, our approach generates a re-connected adjacency matrix according to the similarities between nodes and optimized for the downstream prediction task so as to make up for the shortcomings of original adjacency matrix, considering that the original adjacency matrix usually provides misleading information for aggregation step of GCN in the graphs with low level of homophily. Both the re-connected adjacency matrix and original adjacency matrix are applied to SLGCNs to aggregate feature representations from nearby nodes. Thus, SLGCNs can be applied to graphs with various levels of homophily. Experimental results on a wide range of benchmark datasets illustrate that the proposed SLGCNs outperform the stat-of-the-art GNN counterparts.

研究の動機と目的

• 既存のGNNが信頼できる元のグラフ構造を仮定しているという制限に対処すること。これは、現実世界のノイズや不完全なグラフではしばしば成立しない。
• 元のエッジがメッセージパッシングに誤解を招く情報を提供する低同性性グラフにおけるGNN性能の低下を克服すること。
• 構造的および特徴ベースのメッセージパッシング機構を共同で最適化することで、ノード表現学習を向上させること。
• ノード類似度に基づく再接続隣接行列を学習することで、さまざまな水準の同性性に強い手法を開発すること。
• アンカーを用いた効率的なスペクトルクラスタリングを活用し、長距離の類似性を活かして特徴集約を強化すること。

提案手法

• すべての類似ノードからの特徴表現を集約できる、アンカーを用いた効率的スペクトルクラスタリング（ESC-ANCH）を提案する。空間的近接性に依存しない。
• 学習されたノード類似度に基づいて再接続された隣接行列を構築し、元の隣接行列を置き換えたり補完したりすることで、ノイズを低減し、メッセージパッシングを改善する。
• 下流のノード分類タスクに適合するように、再接続された隣接行列をエンドツーエンドで最適化する。予測目的との整合性を保証する。
• SLGCNにおけるマルチリレーションラベルメッセージパッシング方式で、元の隣接行列と再接続された隣接行列を組み合わせ、特徴集約を豊かにする。
• アンカーを用いたスペクトルクラスタリングにより、大規模グラフにおいても効率的にスケーリングし、類似性に基づく接続パターンを保持する。
• 洗練された構造と強化された特徴を統合したGCNフレームワークを構築し、同性性グラフと異性性グラフの両方の環境で一般化可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノイズや不完全性により元の隣接行列が信頼できない場合、GNNは低同性性グラフでも頑健な性能を発揮できるか？
• RQ2 直接的なエッジに依存せずに、長距離にわたる類似ノード間で効果的にノード特徴表現を集約できるか？
• RQ3 ノード類似度に基づく再接続隣接行列を学習することで、元のグラフ構造を使用する場合と比較して、GNNの性能がどの程度向上するか？
• RQ4 構造と特徴学習の共同最適化によって、さまざまな同性性レベルにわたる一般化性能が向上するか？
• RQ5 提案されたESC-ANCH手法は、類似性に基づく集約の精度を維持したまま、大規模グラフにどの程度スケーリングできるか？

主な発見

• SLGCN は、多様な同性性レベルをカバーする幅広いベンチマークデータセットで最先端の性能を達成し、同性性の変動にわたる優れた一般化性能を示した。
• 提案されたESC-ANCH手法により、直接接続されていなくても、類似ノードを特定・グループ化することで、長距離の特徴集約が効果的に行えるようになった。
• 再接続された隣接行列を学習することは、元のエッジが誤解を招く異性性グラフにおいて、GNNの性能を顕著に向上させる。
• 元の隣接行列と再接続された隣接行列の両方を共同で使用することで、単独で使用する場合よりも、より頑健で情報量の多いノード表現が得られる。
• 本手法は、従来のGNNよりも一貫した改善を示し、特に従来のGNNが通常性能を発揮しにくい低同性性のグラフにおいて顕著な向上を示した。
• 再接続された隣接行列は、下流の予測タスクに適合するようにエンドツーエンドで最適化されており、分類タスクとの整合性が向上した。