[논문 리뷰] SLGCN: Structure Learning Graph Convolutional Networks for Graphs under Heterophily.

Mengying Jiang, Guizhong Liu외 2명|arXiv (Cornell University)|2021. 05. 28.

Advanced Graph Neural Networks참고 문헌 19인용 수 2

한 줄 요약

SLGCN은 그래프 신경망(GNN)의 이질적 그래프에서의 한계를 해결하기 위해 정교화된 인접행렬을 학습하고 앵커 기반 스펙트럴 클러스터링을 통해 특징 집합을 향상시킨다. 이는 노드 분류 성능을 향상시키기 위해 구조와 특징 학습을 공동 최적화함으로써 다양한 벤치마크 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

The performances of GNNs for representation learning on the graph-structured data are generally limited to the issue that existing GNNs rely on one assumption, i.e., the original graph structure is reliable. However, since real-world graphs is inevitably noisy or incomplete, this assumption is often unrealistic. In this paper, we propose a structure learning graph convolutional networks (SLGCNs) to alleviate the issue from two aspects, and the proposed approach is applied to node classification. Specifically, the first is node features, we design a efficient-spectral-clustering with anchors (ESC-ANCH) approach to efficiently aggregate feature representationsfrom all similar nodes, no matter how far away they are. The second is edges, our approach generates a re-connected adjacency matrix according to the similarities between nodes and optimized for the downstream prediction task so as to make up for the shortcomings of original adjacency matrix, considering that the original adjacency matrix usually provides misleading information for aggregation step of GCN in the graphs with low level of homophily. Both the re-connected adjacency matrix and original adjacency matrix are applied to SLGCNs to aggregate feature representations from nearby nodes. Thus, SLGCNs can be applied to graphs with various levels of homophily. Experimental results on a wide range of benchmark datasets illustrate that the proposed SLGCNs outperform the stat-of-the-art GNN counterparts.

연구 동기 및 목표

• 기존 GNN이 신뢰할 수 있는 원본 그래프 구조를 전제로 하지만, 현실 세계의 노이즈가 많거나 완전하지 않은 그래프에서는 이 전제가 종종 성립하지 않는다는 문제를 해결한다.
• 기존 간선이 메시지 전파에 오해의 소지를 줄 수 있는 저동질성 그래프에서 GNN 성능이 열등해지는 문제를 해결한다.
• 구조적 메시지 전파와 기능 기반 메시지 전파 기반 메커니즘을 공동 최적화하여 노드 표현 학습을 향상시킨다.
• 노드 유사도 기반으로 재연결된 인접행렬을 학습함으로써 다양한 수준의 동질성에 대해 강건한 방법을 개발한다.
• 앵커를 활용한 효율적인 스펙트럴 클러스터링을 통해 장거리 유사성을 활용하여 특징 집합을 향상시킨다.

제안 방법

• 모든 유사한 노드로부터 특징 표현을 집합하기 위해 효율적인 스펙트럴 클러스터링을 앵커와 함께 사용하는 ESC-ANCH를 제안한다. 이는 공간적 근접성에 의존하지 않는다.
• 학습된 노드 유사도 기반으로 재연결된 인접행렬을 구성하여 원본 인접행렬을 대체하거나 보완함으로써 노이즈를 감소시키고 메시지 전파를 향상시킨다.
• 하류 노드 분류 작업을 위해 재연결된 인접행렬을 엔드 투 엔드로 최적화하여 예측 목표와의 일치를 확보한다.
• SLGCN에서 다중 관계 메시지 전파 체계에 원본 및 재연결된 인접행렬을 모두 통합하여 특징 집합을 풍부화시킨다.
• 앵커 기반 스펙트럴 클러스터링을 사용하여 대규모 그래프에 효율적으로 스케일링하면서도, 유사도 기반 연결 패턴을 유지한다.
• 정련된 구조와 향상된 특징을 GCN 프레임워크에 통합하여 동질성 및 이질성 그래프 환경 모두에 일반화된다.

실험 결과

연구 질문

• RQ1 원본 인접행렬이 노이즈 또는 불완전성으로 인해 신뢰할 수 없을 경우, GNN은 저동질성 그래프에서 안정적인 성능을 달성할 수 있는가?
• RQ2 직접적인 간선이 없는 장거리 유사 노드들 사이에서 특징 표현을 효과적으로 집합할 수 있는가?
• RQ3 노드 유사도 기반으로 재연결된 인접행렬을 학습하는 것이 원본 그래프 구조를 사용할 때보다 GNN 성능을 얼마나 향상시킬 수 있는가?
• RQ4 구조와 특징 학습을 공동 최적화하면 다양한 수준의 그래프 동질성에서 더 나은 일반화 성능를 달성할 수 있는가?
• RQ5 제안된 ESC-ANCH 방법은 정확도를 유지하면서 대규모 그래프에 어떻게 스케일링되는가?

주요 결과

• SLGCN은 다양한 수준의 동질성에서 일반화 성능이 뛰어나 다양한 벤치마크 데이터셋에서 최신 기술을 달성한다.
• 제안된 ESC-ANCH 방법은 직접 연결되지 않은 노드들 사이에서 유사한 노드를 식별하고 그룹화함으로써 효과적인 장거리 특징 집합을 가능하게 한다.
• 재연결된 인접행렬을 학습하는 것은 원본 간선이 오해의 소지를 줄 수 있는 이질적 그래프에서 GNN 성능을 크게 향상시킨다.
• 원본 및 재연결된 인접행렬을 함께 사용함으로써 단독으로 사용할 경우보다 더 강건하고 정보가 풍부한 노드 표현을 도출할 수 있다.
• 특히 기존 GNN이 일반적으로 성능이 열등한 저동질성 그래프에서 기존 GNN보다 일관되게 향상된 성능을 보였다.
• 재연결된 인접행렬은 하류 예측 작업을 위해 엔드 투 엔드로 최적화되어 분류 작업과의 일치도를 향상시켰다.