[논문 리뷰] Compressive Spectral Clustering

Nicolas Tremblay, Gilles Puy외 2명|arXiv (Cornell University)|2016. 02. 05.

Complex Network Analysis Techniques참고 문헌 46인용 수 58

한 줄 요약

이 논문은 압축 스펙트럴 클러스터링(CSC)을 제안하며, 계산 비용을 줄이기 위해 그래프 신호 처리를 활용하는 스펙트럴 클러스터링의 빠른 근사 방법이다. 무작위 신호를 그래프에서 필터링하고 오직 O(k log k)개의 노드만 샘플링함으로써, 몇 개의 주기 수준에서의 속도 향상을 달성하면서도 이론적 오차 경계를 유지하여 최대 10^6개의 노드를 가진 큰 그래프에서도 효율적인 클러스터링을 가능하게 한다.

ABSTRACT

Spectral clustering has become a popular technique due to its high performance in many contexts. It comprises three main steps: create a similarity graph between N objects to cluster, compute the first k eigenvectors of its Laplacian matrix to define a feature vector for each object, and run k-means on these features to separate objects into k classes. Each of these three steps becomes computationally intensive for large N and/or k. We propose to speed up the last two steps based on recent results in the emerging field of graph signal processing: graph filtering of random signals, and random sampling of bandlimited graph signals. We prove that our method, with a gain in computation time that can reach several orders of magnitude, is in fact an approximation of spectral clustering, for which we are able to control the error. We test the performance of our method on artificial and real-world network data.

연구 동기 및 목표

• 대규모 그래프에서 스펙트럴 클러스터링의 계산 병목 현상, 특히 고유분해와 k-means 단계를 해결한다.
• 런타임을 크게 줄이면서도 높은 클러스터링 정확도를 유지하는 확장 가능한 스펙트럴 클러스터링의 대안을 개발한다.
• 최근의 그래프 신호 처리 기술을 활용하여 고유벡터를 명시적으로 계산하지 않고도 근사화한다.
• 대역제한 신호 샘플링 이론을 활용해 소수의 노드만 샘플링하여 정확한 클러스터링을 가능하게 한다.
• 제안된 방법의 근사 오차에 대한 이론적 보장을 제공한다.

제안 방법

• 그래프 라플라시안에 대해 O(log k)개의 무작위 가우시안 신호를 그래프 필터링하여 고유벡터를 계산하지 않고도 근사 스펙트럴 특징 벡터를 생성한다.
• 대역제한 그래프 신호 이론을 적용하여 그래프에서 오직 O(k log k)개의 노드만 샘플링함으로써 k-means 계산을 O(Nk²)에서 O(k² log²k)로 감소시킨다.
• 샘플된 노드를 사용하여 압축된 특징 벡터에서 k-means를 통해 클러스터링을 수행한다.
• 그래프 구조와 대역제한 신호 성질에 기반한 재구성 방법을 사용하여 클러스터 레이블을 전체 N개의 노드로 재구성한다.
• 압축된 특징 벡터가 진정한 스펙트럴 임bedding에서 얼마나 벗어나는지에 대한 이론적 경계를 통해 근사 오차를 통제한다.
• 비이deal한 그래프 필터와 샘플링이 클러스터링 성능에 미치는 영향을 분석하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 명시적인 고유분해 없이도 랜덤 그래프 필터링을 사용해 그래프 라플라시안의 첫 k개 고유벡터를 효율적으로 근사화할 수 있는가?
• RQ2 대규모 그래프에서 오직 O(k log k)개의 노드만 샘플링하여도 압축된 특징에서 k-means를 적용해 정확한 클러스터 레이블을 복원할 수 있는가?
• RQ3 압축 클러스터링 결과와 정확한 스펙트럴 클러스터링 해법 사이의 이론적 오차 경계는 무엇인가?
• RQ4 그래프 크기 N과 클러스터 수 k가 증가함에 따라 압축 방법의 성능은 어떻게 변화하는가?
• RQ5 매우 높은 차원 감소가 이루어진 상황에서도 합성 및 실세계 네트워크에서 높은 클러스터링 정확도를 유지할 수 있는가?

주요 결과

• 제안된 압축 스펙트럴 클러스터링(CSC) 방법은 k-means의 계산 복잡도를 O(Nk²)에서 O(k² log²k)로 감소시켜 최대 N = 10⁶개의 노드를 가진 그래프까지 확장 가능하게 한다.
• 기존 스펙트럴 클러스터링과 비교해 몇 개의 주기 수준에서의 속도 향상을 달성하면서도 클러스터링 정확도를 유지한다.
• 이론적 분석 결과 근사 오차는 유한하고 통제 가능하며, 오차는 필터 응답과 샘플링 밀도에 따라 달라진다.
• 비균일한 커뮤니티 크기를 가진 합성 스토케스틱 블록 모델(SBM)과 실세계 네트워크 데이터 양쪽 모두에서 우수한 성능을 보인다.
• 실험 결과는 샘플링 크기 n, 필터 수 d, 신호 대 잡음비 p 등의 다양한 매개변수에 걸쳐 안정적인 성능과 일관된 복원률을 보였다.
• 비이deal한 그래프 필터에 대해서도 강건하며, 정확한 고유분해 대신 필터링을 통해 특징 벡터를 근사화하더라도 성능을 유지한다.