[논문 리뷰] Multi-way spectral partitioning and higher-order Cheeger inequalities

James R. Lee, Shayan Oveis Gharan외 1명|arXiv (Cornell University)|2011. 11. 04.

Graph theory and applications인용 수 6

한 줄 요약

이 논문은 정규화된 라플라시안의 k번째로 작은 고유값의 중복도가 그래프에서 k개의 서로소인 희박 컷의 존재와 대응됨을 증명함으로써 오랫동안 남아있던 추측을 해결한다. 정규직교 고유벡터, 랜덤 프로젝션, 기하학적 랜덤 분할 기법을 사용하는 알고리즘적 다중 경로 스펙트럼 분할 방법을 제안하며, $ρ_G(k) \leq O(\sqrt{\lambda_k \log k})$에 가까운 최적 bound를 달성한다. 이는 노이즈가 있는 하이퍼큐브 그래프에서 tight함을 입증한다.

ABSTRACT

A basic fact in spectral graph theory is that the number of connected components in an undirected graph is equal to the multiplicity of the eigenvalue zero in the Laplacian matrix of the graph. In particular, the graph is disconnected if and only if there are at least two eigenvalues equal to zero. Cheeger's inequality and its variants provide an approximate version of the latter fact; they state that a graph has a sparse cut if and only if there are at least two eigenvalues that are close to zero. It has been conjectured that an analogous characterization holds for higher multiplicities, i.e., there are $k$ eigenvalues close to zero if and only if the vertex set can be partitioned into $k$ subsets, each defining a sparse cut. We resolve this conjecture. Our result provides a theoretical justification for clustering algorithms that use the bottom $k$ eigenvectors to embed the vertices into $\mathbb R^k$, and then apply geometric considerations to the embedding. We also show that these techniques yield a nearly optimal tradeoff between the expansion of sets of size $\approx n/k$, and the $k$th smallest eigenvalue of the normalized Laplacian matrix, denoted $λ_k$. In particular, we show that in every graph there is a set of size at most $2n/k$ which has expansion at most $O(\sqrt{λ_k \log k})$. This bound is tight, up to constant factors, for the "noisy hypercube" graphs.

연구 동기 및 목표

• 그래프에서 $k$개의 고유값이 0에 가까운 것이 $k$개의 서로소 희박 컷의 존재를 암시한다는 추측을 해결하는 것.
• 라플라시안의 하단 $k$개 고유벡터를 사용해 정점들을 $\mathbb{R}^k$에 임bedding하는 클러스터링 알고리즘의 이론적 기반을 마련하는 것.
• 고유값 $\lambda_k$와 $k$-way 확장 상수 $\rho_G(k)$ 사이의 거의 최적의 정량적 관계를 설정하는 것.
• 확장 품질에 대해 증명 가능한 보장을 갖는 $k$-way 스펙트럼 분할을 위한 알고리즘 프레임워크를 개발하는 것.

제안 방법

• Rayleigh 몫이 작고, $O(\lambda_{2k})$ 이하로 제한된 $2k$개의 정규직교 고유벡터 $g_1, \dots, g_{2k}$를 구성한다.
• 스펙트럼 임베딩 $F: V \to \mathbb{R}^{2k}$를 $f_i(v) = g_i(v)/\sqrt{w(v)}$를 통해 수행한다.
• 차원을 줄이기 위해 $h = O(\log k)$를 사용하여 i.i.d. 가우시안 벡터를 이용해 $\mathbb{R}^h$로 랜덤 프로젝션을 수행한다.
• 프로젝션된 공간에서 공액 구조 기반의 랜덤 기하 분할을 적용하여 각 정점을 가장 가까운 랜덤 중심에 할당한다.
• 질량 가중 노름 $\mathcal{M}(S)$를 최소화하여 얻어진 $m$개의 집합을 $k' = \lceil 3k/2 \rceil$개의 집합으로 융합하여 클러스터 품질를 균형 잡는다.
• 각 융합된 집합에 대해 체히어 스웨이프를 적용하여 확장도가 가장 낮은 $k$개의 집합을 선택하며, $\|F^*(v)\|^2$에 대한 임계값 처리를 사용한다.

실험 결과

연구 질문

• RQ1 고유값 $k$개가 0에 가까운 것이 그래프에서 $k$개의 서로소 희박 컷의 존재를 암시하는가?
• RQ2 라플라시안의 하단 $k$개 고유벡터만을 사용해 증명 가능하게 좋은 $k$-way 분할을 달성할 수 있는가?
• RQ3 $\rho_G(k)$와 $\lambda_k$ 사이의 가장 날카로운 정량적 의존성은 무엇인가?
• RQ4 $k$-way 확장 문제에서 bound에 포함된 $\sqrt{\log k}$ 요소는 tight한가?
• RQ5 랜덤 프로젝션과 기하 분할 기법을 사용해 스펙트럼 클러스터링에서 $k$-means를 이론적으로 보장 가능한 방식으로 대체할 수 있는가?

주요 결과

• 논문은 $\lambda_k$가 작을 경우 $k$개의 서로소 집합이 각각 확장도 $O(\sqrt{\lambda_k \log k})$를 갖는다는 추측을 증명한다.
• 거의 최적의 상한을 확립한다: $\rho_G(k) \leq O(\sqrt{\lambda_k \log k})$이며, 이는 노이즈가 있는 하이퍼큐브 그래프에서 상수 인자까지 tight하다.
• 알고리즘은 최소 $k/2$개의 서로소 집합을 확보하며, 각각의 확장도는 $O(\sqrt{\lambda_k \log k})$ 이하이며, 그 중 하나는 크기가 $2n/k$ 이하이다.
• 각 집합의 확장도가 $O(k^3 \sqrt{\lambda_k})$인 $k$-way 분할을 달성하며, 이는 이전의 결과들에 비해 명시적인 $k$-의존성을 개선한다.
• 증명 과정이 알고리즘적임을 고려할 때, 빠른 라플라시안 해법기법과 랜덤 프로젝션을 사용해 거의 선형 시간 내에 $k$-way 스펙트럼 분할을 수행할 수 있다.
• $\sqrt{\log k}$ 요소가 필수적임을 입증하였으며, 일반 그래프에서는 이 요소를 로그 인자 수준 이하로 개선할 수 없다.