[논문 리뷰] GCN-SL: Graph Convolutional Networks with Structure Learning for Graphs under Heterophily

Mengying Jiang, Guizhong Liu외 2명|arXiv (Cornell University)|2021. 05. 28.

Advanced Graph Neural Networks참고 문헌 27인용 수 5

한 줄 요약

이 논문은 구조 학습을 갖춘 그래프 컬러션 네트워크(GCN-SL)를 제안하며, 낮은 동질성(하이퍼폴리)을 가지는 그래프에서 노드 분류 성능을 향상시킨다. 이는 효율적인 스펙트럼 클러스터링을 통한 특성 집합과 유사도 학습을 통한 재연결된 인접 행렬 학습을 통합하여 달성된다. 이 방법은 다양한 벤치마크에서 최신 기술(GNN)을 초월하며, 특히 전형적인 GCN가 이웃 집합 과정에서 오류를 일으키는 이종성(헤테로폴리) 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

In representation learning on the graph-structured data, under heterophily (or low homophily), many popular GNNs may fail to capture long-range dependencies, which leads to their performance degradation. To solve the above-mentioned issue, we propose a graph convolutional networks with structure learning (GCN-SL), and furthermore, the proposed approach can be applied to node classification. The proposed GCN-SL contains two improvements: corresponding to node features and edges, respectively. In the aspect of node features, we propose an efficient-spectral-clustering (ESC) and an ESC with anchors (ESC-ANCH) algorithms to efficiently aggregate feature representations from all similar nodes. In the aspect of edges, we build a re-connected adjacency matrix by using a special data preprocessing technique and similarity learning, and the re-connected adjacency matrix can be optimized directly along with GCN-SL parameters. Considering that the original adjacency matrix may provide misleading information for aggregation in GCN, especially the graphs being with a low level of homophily. The proposed GCN-SL can aggregate feature representations from nearby nodes via re-connected adjacency matrix and is applied to graphs with various levels of homophily. Experimental results on a wide range of benchmark datasets illustrate that the proposed GCN-SL outperforms the stateof-the-art GNN counterparts.

연구 동기 및 목표

• 낮은 또는 중간 수준의 동질성에서 이웃 집합 과정이 기능하지 않는 그래프에서 GCN의 성능 저하 문제를 해결하기 위해.
• 유사한 노드를 그룹화하는 재연결된 인접 행렬을 학습하여 GCN이 장거리 의존성을 포착할 수 있도록 하기 위해.
• 대규모 그래프에서 스펙트럼 클러스터링의 계산 비용을 줄이기 위해 효율적인 알고리즘(ESC 및 ESC-ANCH)을 활용하기 위해.
• 재연결된 인접 행렬과 GCN 파라미터를 동시에 최적화하여 과적합 및 과도한 스무딩에 대한 강인성을 향상시키기 위해.
• 모든 수준의 동질성(극단적 이종성 포함)에서 우수한 성능을 내는 통합 프레임워크를 개발하기 위해.

제안 방법

• 효율적 스펙트럼 클러스터링(ESC) 알고리즘을 통해 스펙트럼 클러스터링(SC)을 GCN에 통합하여 유사한 노드를 그룹화하고 특성 표현을 향상시킨다.
• 대규모 그래프에서 SC의 계산 복잡도를 줄이기 위해 앵커 노드를 활용하는 확장형 스크립트인 ESC-ANCH를 제안한다.
• 노드 특성 간 유사도 학습을 통해 재연결된 인접 행렬을 구성하며, 이는 GCN 파라미터와 함께 엔드 투 엔드로 최적화된다.
• 구조 학습 모듈에서 과적합을 줄이기 위해 희소한 노드 특성 처리를 위한 특수한 데이터 전처리 기법을 적용한다.
• 다양한 집합 라운드에서 생성된 중간 노드 표현들을 가중치가 학습 가능한 벡터로 조합하여 정보가 많은 차원을 강조한다.
• 기존 및 재연결된 인접 행렬이 모두 최종 노드 임베딩에 기여하는 다중 헤드 집합 전략을 사용한다.

실험 결과

연구 질문

• RQ1 스펙트럼 클러스터링이 대규모 그래프에 효율적으로 적용되어 저동질성 환경에서 GNN 성능을 향상시킬 수 있는가?
• RQ2 노드 특성 유사도 기반으로 재연결된 인접 행렬을 학습하면 이종성 그래프에서 노드 분류 성능이 향상되는가?
• RQ3 GCN-SL은 과적합이나 과도한 스무딩 없이 다양한 수준의 동질성에서 성능을 유지할 수 있는가?
• RQ4 GCN-SL은 H2GCN 및 Geom-GCN과 같은 최신 기술 GNN과 비교해 정확도와 강인성 측면에서 어떻게 성능을 내는가?
• RQ5 SC 기반 특성 향상과 적응형 엣지 학습을 융합하면 GCN의 장거리 의존성 학습이 얼마나 향상되는가?

주요 결과

• Cora에서 GCN-SL은 89.2% ± 1.3의 정확도를 기록하여 5층 GCN 및 기타 최신 기술 GNN을 능가하며, 특히 이종성 환경에서 뛰어난 성능을 보였다.
• 낮은 동질성의 Squirrel 데이터셋에서 GCN-SL은 38.9% ± 3.1의 정확도를 기록했으며, GCN 및 GAT은 MLP조차도 성능을 낮추는 데 실패했다.
• GCN-SL은 네트워크 깊이 증가에 따라 안정적인 성능을 유지하며, 더 깊은 GCN에서 관찰되는 과적합 및 과도한 스무딩 현상을 피했다.
• GCN-SL의 재연결된 인접 행렬은 장거리 특성 집합을 효과적으로 가능하게 하였으며, Chameleon(60.0% ± 3.2) 및 Texas(85.6% ± 6.2) 데이터셋에서 뛰어난 성능을 보였다.
• SC 특성과 학습 가능한 가중치 집합 전략을 활용함으로써 노드 임베딩 품질이 향상되었으며, GCN-SL cc 및 GCN-SL av는 H2GCN 대비 일관된 성능 향상을 보였다.
• 하이퍼파라미터 튜닝 결과, GCN-SL은 데이터 스파arsity 및 동질성 수준에 따라 최적 설정이 달라지지만, 항상 최상의 성능을 유지하며 강인함을 입증했다.