[論文レビュー] GCN-SL: Graph Convolutional Networks with Structure Learning for Graphs under Heterophily

Mengying Jiang, Guizhong Liu+2 more|arXiv (Cornell University)|May 28, 2021

Advanced Graph Neural Networks参考文献 27被引用数 5

ひとこと要約

本稿では、構造学習を組み込んだグラフ畳み込みネットワークであるGCN-SLを提案する。低ホモフィリーのグラフにおけるノード分類性能を向上させるために、特徴量集約に効率的なスペクトルクラスタリングを統合し、類似度学習を用いて再接続された隣接行列を学習する。この手法は、多様なベンチマークで最先端のGNNを上回り、特に標準的なGCNが誤った近隣集約により失敗する異種接続性（heterophilic）な設定において顕著な優位性を示す。

ABSTRACT

In representation learning on the graph-structured data, under heterophily (or low homophily), many popular GNNs may fail to capture long-range dependencies, which leads to their performance degradation. To solve the above-mentioned issue, we propose a graph convolutional networks with structure learning (GCN-SL), and furthermore, the proposed approach can be applied to node classification. The proposed GCN-SL contains two improvements: corresponding to node features and edges, respectively. In the aspect of node features, we propose an efficient-spectral-clustering (ESC) and an ESC with anchors (ESC-ANCH) algorithms to efficiently aggregate feature representations from all similar nodes. In the aspect of edges, we build a re-connected adjacency matrix by using a special data preprocessing technique and similarity learning, and the re-connected adjacency matrix can be optimized directly along with GCN-SL parameters. Considering that the original adjacency matrix may provide misleading information for aggregation in GCN, especially the graphs being with a low level of homophily. The proposed GCN-SL can aggregate feature representations from nearby nodes via re-connected adjacency matrix and is applied to graphs with various levels of homophily. Experimental results on a wide range of benchmark datasets illustrate that the proposed GCN-SL outperforms the stateof-the-art GNN counterparts.

研究の動機と目的

• 低ホモフィリーまたは中程度ホモフィリーのグラフにおいて、隣接ノードの特徴量が類似していないため、ノード集約が失敗する状況におけるGCNの性能低下を是正すること。
• 直接接続されていなくても類似したノードをグループ化できる再接続された隣接行列を学習することで、GCNが長距離依存関係を捉える能力を向上させること。
• 大規模グラフにおけるスペクトルクラスタリングの計算コストを低減するための効率的アルゴリズム（ESCおよびESC-ANCH）を用いること。
• 再接続された隣接行列とGCNのパラメータを同時に最適化することで、過学習や過剰平滑化に対する耐性を高めること。
• ホモフィリーの程度が異なるあらゆる状況（極端な異種接続性を含む）で良好な性能を発揮する統合的フレームワークの構築

提案手法

• 効率的スペクトルクラスタリング（ESC）アルゴリズムを用いて、スペクトルクラスタリング（SC）をGCNに統合し、類似したノードをグループ化することで特徴表現を強化する。
• 大規模グラフにおけるSCの計算複雑度を低減するため、アンカー節点を用いたスケーラブルな変種であるESC-ANCHを提案する。
• ノード特徴量間の類似度学習を用いて再接続された隣接行列を構築し、これをGCNパラメータとエンドツーエンドで最適化する。
• 構造学習モジュールにおける過学習を軽減するため、スパースなノード特徴量を処理する特別なデータ前処理技術を適用する。
• 複数の集約ラウンドで得られる中間的ノード表現を、情報量の高い次元を強調するための学習可能な重み付きベクトルで統合する。
• 元の隣接行列と再接続された隣接行列の両方が寄与するマルチヘッド集約戦略を採用し、最終的なノード埋め込みを生成する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルクラスタリングを大規模グラフに効率的に適応させることで、低ホモフィリー環境下でのGNN性能を向上させられるか？
• RQ2 ノード特徴量の類似度に基づく再接続された隣接行列を学習することで、異種接続性グラフにおけるノード分類性能が向上するか？
• RQ3 GCN-SLは過学習や過剰平滑化を回避しながら、ホモフィリーの程度が異なるあらゆる状況で安定した性能を維持できるか？
• RQ4 H2GCN や Geom-GCN といった最先端のGNNと比較して、GCN-SLの精度と耐性はどの程度優れているか？
• RQ5 SCに基づく特徴強化と適応的エッジ学習を組み合わせることで、GCNにおける長距離依存関係の学習がどの程度向上するか？

主な発見

• Coraでは89.2% ± 1.3の精度を達成し、5層のGCNや他の最先端GNNを上回った。特に異種接続性設定で顕著な優位性を示した。
• 低ホモフィリーのSquirrelデータセットでは、38.9% ± 3.1の精度を達成し、GCN や GAT がMLPでさえも性能を発揮できない中で顕著に優れた性能を示した。
• GCN-SLはネットワークの深さが増しても安定した性能を維持し、深層GCNで見られる過学習や過剰平滑化の問題を回避した。
• GCN-SLの再接続された隣接行列により、長距離特徴集約が効果的に実現された。Chameleon（60.0% ± 3.2）およびTexas（85.6% ± 6.2）データセットでも優れた性能を発揮した。
• SC特徴量と学習可能な重み付き集約の組み合わせにより、ノード埋め込みの質が向上し、GCN-SL ccおよびGCN-SL avはH2GCNを一貫して上回った。
• ハイパーパramータチューニングの結果、GCN-SLはデータのスパarsityやホモフィリーの程度に応じて最適設定が異なるものの、一貫して最高の性能を発揮することが判明した。