[논문 리뷰] Spectral Clustering with Graph Neural Networks for Graph Pooling

Filippo Maria Bianchi, Daniele Grattarola외 1명|arXiv (Cornell University)|2019. 06. 30.

Complex Network Analysis Techniques참고 문헌 36인용 수 76

한 줄 요약

이 논문은 MinCutPool을 도입한다. 이는 minCUT의 연속 완화에 의해 클러스터 배정 값을 학습하는 미분 가능 GNN 기반 풀링 연산자로, 고유분해를 피하고 샘플 외(out-of-sample) 클러스터링 및 엔드-투-엔드 학습을 가능하게 한다. 다수의 벤치마크에서 비지도 노드 클러스터링과 지도 그래프 분류에서 우수한 성능을 보인다.

ABSTRACT

Spectral clustering (SC) is a popular clustering technique to find strongly connected communities on a graph. SC can be used in Graph Neural Networks (GNNs) to implement pooling operations that aggregate nodes belonging to the same cluster. However, the eigendecomposition of the Laplacian is expensive and, since clustering results are graph-specific, pooling methods based on SC must perform a new optimization for each new sample. In this paper, we propose a graph clustering approach that addresses these limitations of SC. We formulate a continuous relaxation of the normalized minCUT problem and train a GNN to compute cluster assignments that minimize this objective. Our GNN-based implementation is differentiable, does not require to compute the spectral decomposition, and learns a clustering function that can be quickly evaluated on out-of-sample graphs. From the proposed clustering method, we design a graph pooling operator that overcomes some important limitations of state-of-the-art graph pooling techniques and achieves the best performance in several supervised and unsupervised tasks.

연구 동기 및 목표

• GNN에서 노드 특징을 통합하는 원칙적이고 확장 가능한 스펙트럴 클러스터링 대안을 통해 풀링을 동기부여한다.
• 정규화된 minCUT 목표를 근사하는 미분 가능 GNN 기반 클러스터링 방법을 개발한다.
• 엔드-투-엔드 학습을 가능하게 하면서 그래프를 축소하는 그래프 풀링 연산자(MinCutPool)를 도출한다.
• 전이 가능한 클러스터링 함수를 학습하여 샘플 외(out-of-sample) 클러스터링을 가능하게 한다.
• 비지도 및 지도 작업에서 최첨단 풀링 방법들보다 향상을 입증한다.

제안 방법

• 정규화된 minCUT 목표의 연속 완화를 구성하고, GNN이 소프트 클러스터 배정 S를 출력하도록 학습한다.
• 입력 그래프에 대한 메시지 전달을 통해 노드 표현을 계산하고 이를 softmax를 가진 MLP에 통과시켜 S를 얻는다.
• 비지도 손실 Lu = Lc + Lo를 정의하여 minCUT를 근사하고(Lc) 거의 직교하고 균형 잡힌 클러스터를 강제한다(Lo).
• MinCutPool: S를 이용해 Xpool = S^T X 및 Apool = S^T Ã S를 생성하는 풀링 계층을 도출하고, 후처리 정규화를 통해 Âpool을 얻어 이후 MP 계층으로 전달한다.
• 클러스터링 품질과 하류 성능의 균형을 맞추기 위해 작업 특화 손실로 엔드-투-엔드로 학습한다.
• 깊은 GNN 아키텍처를 위한 계층적으로 중첩 가능한 differentiable 풀링을 제공한다.

실험 결과

연구 질문

• RQ1 GNN이 Laplacian 고유벡터를 계산하지 않고도 스펙트럴 minCUT 목표를 근사하는 클러스터링 함수를 학습할 수 있는가?
• RQ2 제시된 differentiable MinCutPool이 모델 프리(model-free) 및 다른 모델 기반 풀링 방법에 비해 클러스터링 품질과 하류 그래프 작업 성능을 향상시키는가?
• RQ3 학습된 풀링이 샘플 외 그래프에 일반화하고 지도 작업에 대해 엔드-투-엔드 학습을 가능하게 하는가?
• RQ4 minCUT 목표를 작업 손실과 함께 공동 최적화하는 것이 퇴행적 클러스터링 솔루션을 피하는 데 어떤 영향을 미치는가?
• RQ5 다양한 벤치마크에서 비지도 노드 클러스터링과 지도 그래프 분류에서 MinCutPool의 실질적 이점은 무엇인가?

주요 결과

• MinCutPool은 여러 작업에서 최첨단 풀링 방법과 비교하여 우수하거나 경쟁력 있는 성능을 달성한다.
• 제안된 비지도 손실 및 직교성 정규화가 실제로 퇴행적 클러스터링 솔루션을 피하는 데 도움을 준다.
• MinCutPool은 자가인코더 평가에서 경쟁 풀링 방법들보다 더 나은 재구성 및 정보 보존을 제공한다.
• 지도 그래프 분류에서 MinCutPool은 여러 데이터셋에 걸쳐 대안 풀링 전략과 비교해 항상 같거나 더 나은 정확도를 달성한다.
• 이 접근법은 스펙트럴 분해를 필요로 하지 않고 엔드-투-엔드 학습 및 더 깊은 계층적 그래프 표현을 가능하게 한다.