[논문 리뷰] Explainable, Stable, and Scalable Graph Convolutional Networks for Learning Graph Representation

Ping-En Lu, Cheng‐Shang Chang|arXiv (Cornell University)|2020. 09. 22.

Advanced Graph Neural Networks참고 문헌 50인용 수 7

한 줄 요약

이 논문은 네트워크 임베딩, 추적 최대화, 그리고 모듈라리티 행렬의 행렬 분해 간의 등가성을 활용하여 안정적이고 해석 가능하며 확장 가능한 노드 표현을 학습하는 두 가지 새로운 그래프 컬러블 네트워크—CAFE-GCN과 sphere-GCN—을 제안한다. 두 방법 모두 희소 그래프에서 선형 시간 알고리즘을 통해 모듈라리티 행렬의 주요 고유벡터를 근사하여, 노드 분류 및 링크 예측에서 최신 기술 수준의 성능을 달성하면서도 군집 기반 특징 학습을 통해 차원 축소와 해석 가능성을 제공한다.

ABSTRACT

The network embedding problem that maps nodes in a graph to vectors in Euclidean space can be very useful for addressing several important tasks on a graph. Recently, graph neural networks (GNNs) have been proposed for solving such a problem. However, most embedding algorithms and GNNs are difficult to interpret and do not scale well to handle millions of nodes. In this paper, we tackle the problem from a new perspective based on the equivalence of three constrained optimization problems: the network embedding problem, the trace maximization problem of the modularity matrix in a sampled graph, and the matrix factorization problem of the modularity matrix in a sampled graph. The optimal solutions to these three problems are the dominant eigenvectors of the modularity matrix. We proposed two algorithms that belong to a special class of graph convolutional networks (GCNs) for solving these problems: (i) Clustering As Feature Embedding GCN (CAFE-GCN) and (ii) sphere-GCN. Both algorithms are stable trace maximization algorithms, and they yield good approximations of dominant eigenvectors. Moreover, there are linear-time implementations for sparse graphs. In addition to solving the network embedding problem, both proposed GCNs are capable of performing dimensionality reduction. Various experiments are conducted to evaluate our proposed GCNs and show that our proposed GCNs outperform almost all the baseline methods. Moreover, CAFE-GCN could be benefited from the labeled data and have tremendous improvements in various performance metrics.

연구 동기 및 목표

• 대규모 그래프 표현 학습을 위한 기존 그래프 신경망에서의 해석 가능성 부족과 낮은 확장성 문제를 해결하기 위해.
• 샘플드 그래프에서 네트워크 임베딩, 추적 최대화, 그리고 모듈라리티 행렬의 행렬 분해 간 이론적 등가성을 수립하기 위해.
• 모듈라리티 행렬의 주요 고유벡터를 근사함으로써 안정적이고 확장 가능하며 해석 가능한 노드 표현을 제공하는 GCN 기반 알고리즘을 개발하기 위해.
• 희소 그래프에서 선형 시간 구현을 통해 차원 축소를 가능하게 하고, 노드 분류 및 링크 예측 성능을 향상시키기 위해.

제안 방법

• 샘플드 그래프에서 네트워크 임베딩 문제를 제약 조건이 있는 최적화 문제로 재구성하여, 모듈라리티 행렬의 추적 최대화 및 행렬 분해와 연결한다.
• 클러스터링 결과를 특징 임베딩으로 사용하고, 소프트맥스 클러스터링 알고리즘을 특정 유형의 GCN으로 간주함으로써 주요 고유벡터를 근사하는 CAFE-GCN을 제안한다.
• 모듈라리티 행렬의 주요 고유벡터와 일치하도록 노드 표현을 반복적으로 업데이트하는 안정적인 추적 최대화 알고리즘인 sphere-GCN을 도입한다.
• 그래프의 희소성을 활용하여 두 알고리즘에 대해 선형 시간 구현을 유도함으로써, 수백만 개의 노드를 포함한 대규모 그래프에 대한 확장성을 확보한다.
• 고유벡터의 정규직교 기저와 모듈라리티 행렬의 스펙트럼 성질을 이용하여 수렴성 및 근사 경계를 증명한다.
• sphere-GCN에서 재정규화 및 볼록 조합 업데이트를 적용하여 추적 目적 함수의 단조적 향상을 보장한다.

실험 결과

연구 질문

• RQ1 샘플드 그래프에서 네트워크 임베딩 문제는 모듈라리티 행렬의 추적 최대화 및 행렬 분해 문제로 등가적으로 재구성될 수 있는가?
• RQ2 클러스터링 결과를 어떻게 체계적으로 활용하여 GCN 프레임워크 내에서 해석 가능하고 안정적인 노드 임베딩을 생성할 수 있는가?
• RQ3 대규모 희소 그래프에서 확장 가능성을 보장하기 위해 모듈라리티 행렬 기반 고유벡터 근사를 위한 선형 시간 알고리즘을 설계할 수 있는가?
• RQ4 제안된 GCN은 노드 분류 및 링크 예측 작업에서 기존 방법보다 어느 정도 뛰어난 성능을 보이는가?
• RQ5 라벨이 있는 데이터를 통합함으로써 CAFE-GCN은 준지도 학습 환경에서 성능을 어떻게 향상시키는가?

주요 결과

• sphere-GCN은 벤치마크 데이터셋에서 노드 분류 및 링크 예측 작업에서 거의 모든 기준 기반 방법보다 뛰어난 성능을 보였다.
• CAFE-GCN은 코라 데이터셋에서 최신 기술 수준에 근접한 성능를 달성하였으며, 보조 정보 없이도 SplineCNN와 동등한 성능를 보였다.
• 준지도 학습 기반 CAFE-GCN은 라벨이 있는 데이터가 제공될 경우 여러 지표에서 뚜렷한 향상을 보였다.
• CAFE-GCN과 sphere-GCN은 모두 노드 표현을 학습하는 동안 효과적인 차원 축소를 수행할 수 있었다.
• 이론적 분석을 통해 sphere-GCN이 추적 목적 함수를 단조적으로 증가시켜 수렴성과 안정성을 보장함을 확인하였다.
• 희소 그래프에서 두 알고리즘의 선형 시간 구현은 대규모 그래프(수백만 개의 노드 포함)에 대한 확장 가능성을 보장한다.