[논문 리뷰] Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification

Yongyu Wang, Zhuo Feng|arXiv (Cornell University)|2017. 10. 12.

Blind Source Separation Techniques참고 문헌 1인용 수 6

한 줄 요약

이 논문은 원래의 최근접 이웃(NN) 그래프의 핵심 고유값과 고유벡터를 유지하면서 초우량한 희박성과 나무 구조를 가진 부분그래프를 구성하는 이단계 스펙트럼 희박화 프레임워크를 제안한다. 이는 매우 확장 가능하고 정확한 스펙트럼 클러스터링을 가능하게 한다. 거의 선형 시간의 스펙트럼 그래프 구조 희박화와 확률적 경사 하강법 기반 엣지 가중치 조정을 조합함으로써, Covtype 데이터셋에서 최대 9,703배의 속도 향상을 달성(9.43초 대비 91,504초)하면서도 클러스터링 정확도를 유지하거나 향상시켰다.

ABSTRACT

The eigendeomposition of nearest-neighbor (NN) graph Laplacian matrices is the main computational bottleneck in spectral clustering. In this work, we introduce a highly-scalable, spectrum-preserving graph sparsification algorithm that enables to build ultra-sparse NN (u-NN) graphs with guaranteed preservation of the original graph spectrums, such as the first few eigenvectors of the original graph Laplacian. Our approach can immediately lead to scalable spectral clustering of large data networks without sacrificing solution quality. The proposed method starts from constructing low-stretch spanning trees (LSSTs) from the original graphs, which is followed by iteratively recovering small portions of "spectrally critical" off-tree edges to the LSSTs by leveraging a spectral off-tree embedding scheme. To determine the suitable amount of off-tree edges to be recovered to the LSSTs, an eigenvalue stability checking scheme is proposed, which enables to robustly preserve the first few Laplacian eigenvectors within the sparsified graph. Additionally, an incremental graph densification scheme is proposed for identifying extra edges that have been missing in the original NN graphs but can still play important roles in spectral clustering tasks. Our experimental results for a variety of well-known data sets show that the proposed method can dramatically reduce the complexity of NN graphs, leading to significant speedups in spectral clustering.

연구 동기 및 목표

• 대규모 최근접 이웃 그래프에서 비용이 많이 드는 고유값 분해로 인한 스펙트럼 클러스터링의 계산적 병목 현상을 해결하기 위해.
• 원래 그래프 라플라시안의 중요한 스펙트럼 성질(고유값과 고유벡터)을 초희박한 부분그래프에 유지하는 확장 가능한 방법을 개발하기 위해.
• 원래 NN 그래프의 거의 선형 크기의 대체물인 부분그래프를 구성함으로써 대규모 데이터셋에서 빠르고 정확한 스펙트럼 클러스터링을 가능하게 하기 위해.
• 기존의 근사 방법들이 스펙트럼 보존 보장을 갖지 못하고 종종 클러스터링 정확도를 떨어뜨리는 한계를 극복하기 위해.

제안 방법

• 스펙트럼적으로 중요한 엣지를 식별하고 유지함으로써 나무 구조를 가진 부분그래프를 형성하는 거의 선형 시간의 스펙트럼 그래프 구조 희박화 방법을 적용한다.
• 확률적 경사 하강법(SGD)을 사용한 새로운 반복적 엣지 가중치 조정 단계를 통해 희박화된 부분그래프의 엣지 가중치를 최적화한다.
• 이중단계 프레임워크를 구성한다: 첫 번째로, 스펙트럼 구조를 유지하면서 그래프 크기를 줄이는 구조 희박화; 두 번째로, 스펙트럼 유사도를 향상시키기 위한 엣지 조정.
• 스펙트럼 그래프 희박화의 이론적 진전을 활용하여, 결과 부분그래프가 원래 라플라시안의 첫 번째 몇 개의 최소 비자명 고유값과 고유벡터를 유지하도록 보장한다.
• 기본 구조로 스패닝 트리를 사용하고, 제어된 수의 트리 외부 엣지(b로 예산 설정)를 추가하여 스펙트럼 정밀도를 향상시킨다.
• SGD를 통한 부분그래프 스케일링을 통합하여 반복적으로 엣지 가중치를 조정하고, 원래 라플라시안과 희박화된 라플라시안의 스펙트럼 간의 차이를 최소화한다.

실험 결과

연구 질문

• RQ1 거의 선형 시간의 스펙트럼 희박화 방법이 그래프 크기를 극적으로 줄이면서도 원래 그래프 라플라시안의 핵심 고유값과 고유벡터를 유지할 수 있는가?
• RQ2 제안된 이중단계 프레임워크(구조 희박화 후 엣지 가중치 조정)가 기존의 근사 방법에 비해 더 뛰어난 클러스터링 정확도를 제공하는가?
• RQ3 초희박하고 나무 구조를 가진 부분그래프가 정확도를 잃지 않고 대규모 NN 그래프의 효과적인 대체물로 기능할 수 있는 정도는 어느 정도인가?
• RQ4 추가된 트리 외부 엣지의 수(budget b)가 희박화된 그래프에서 최하위 고유값의 안정성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 581,012개의 인스턴스를 가진 Covtype 데이터셋에서 제안된 방법은 원래 스펙트럼 클러스터링 대비 9,703배의 속도 향상을 달성(9.43초 대비 91,504초)하였고, 클러스터링 정확도에 손실가지 않았다.
• MNIST 데이터셋에서는 3,571배의 속도 향상을 달성하였으며, 원래 방법보다 유지 또는 약간 향상된 클러스터링 정확도를 확보하였다.
• 대부분의 데이터셋에서 스펙트럼적으로 희박화된 그래프를 사용한 클러스터링 정확도가 원래 그래프를 초월하였다. 이는 희박화 과정에서 노이즈 또는 부정확한 엣지가 제거되었음을 시사한다.
• Covtype 데이터셋에서 오직 0.01|V|개의 트리 외부 엣지만 추가되어도 최고의 클러스터링 정확도를 달성할 수 있었으며, 이는 희박화의 높은 효율성을 보여준다.
• 엣지 조정 단계는 성능 향상에 결정적인 영향을 미쳤다: 엣지 가중치 조정이 없는 부분그래프는 훨씬 더 많은 트리 외부 엣지를 가졌음에도 불구하고, 조정된 가중치로 달 đạt한 정확도 수준에 도달하지 못했다.
• 최하위 고유값의 변동 비율은 추가된 트리 외부 엣지 수가 증가함에 따라 감소하였으며, 이는 스펙트럼 안정성이 향상되었고, 이론적 기반의 타당성을 확인함을 뒷받침한다.