[논문 리뷰] Impact of regularization on Spectral Clustering

Antony Joseph, Bin Yu|arXiv (Cornell University)|2013. 12. 05.

Complex Network Analysis Techniques참고 문헌 22인용 수 18

한 줄 요약

이 논문은 스토케스틱 블록 모델(SBM) 하에서 스펙트럴 클러스터링의 정규화에 대한 이론적 분석을 제공하며, 최대 차수 성장 기반으로 클러스터 복원을 가능하게 하여 최소 차수 가정이 필요 없도록 한다. 정규화 파rameter τ를 선택하기 위한 데이터 기반 방법인 DKest를 도입하여 추정된 데이비스-카한 경계를 최소화함으로써 시뮬레이션 및 실제 네트워크에서 성능을 향상시킨다.

ABSTRACT

The performance of spectral clustering can be considerably improved via regularization, as demonstrated empirically in Amini et. al (2012). Here, we provide an attempt at quantifying this improvement through theoretical analysis. Under the stochastic block model (SBM), and its extensions, previous results on spectral clustering relied on the minimum degree of the graph being sufficiently large for its good performance. By examining the scenario where the regularization parameter $τ$ is large we show that the minimum degree assumption can potentially be removed. As a special case, for an SBM with two blocks, the results require the maximum degree to be large (grow faster than $\log n$) as opposed to the minimum degree. More importantly, we show the usefulness of regularization in situations where not all nodes belong to well-defined clusters. Our results rely on a `bias-variance'-like trade-off that arises from understanding the concentration of the sample Laplacian and the eigen gap as a function of the regularization parameter. As a byproduct of our bounds, we propose a data-driven technique extit{DKest} (standing for estimated Davis-Kahan bounds) for choosing the regularization parameter. This technique is shown to work well through simulations and on a real data set.

연구 동기 및 목표

• 정규화가 커뮤니티 탐지에서 스펙트럴 클러스터링 성능을 향상시키는 방식을 이론적으로 이해하는 것.
• 이전의 스펙트럴 클러스터링 분석에서 제한적인 최소 차수 가정을 제거하기 위해 정규화를 활용하는 것.
• 낮은 차수를 가진 노드가 잘 정의된 커뮤니티에 속하지 않는 네트워크에서의 클러스터 복원 문제를 다루는 것.
• 이론적 경계를 이용한 데이터 기반 정규화 파rameter τ 선택 방법을 개발하는 것.
• 제안된 방법이 시뮬레이션 및 실제 네트워크 데이터에서 효과적인지 입증하는 것.

제안 방법

• 스토케스틱 블록 모델(SBM) 및 약간 연결된 커뮤니티를 고려한 정규화된 스펙트럴 클러스터링(RSC)을 분석한다.
• 정규화 파arameter τ에 따라 고유값 간격과 표본 라플라시안의 농도 간의 편향-분산 유사한 트레이드오프를 사용한다.
• 큰 τ에 대해 1/τ 비례로 감소하는 라플라시안 차이의 스펙트럴 노름에 대한 고확률 경계를 유도하며, 이는 이전의 1/√τ 경계보다 향상된 것이다.
• τ 값의 격자에 걸쳐 데이비스-카한 경계를 추정하고 이러한 경계를 최소화하는 τ를 선택하는 데이터 의존적 절차인 DKest를 제안한다.
• 노드의 차수와 클러스터 소속 관계를 이용해 간선 확률을 추정함으로써 DKest를 차수 보정 SBM로 확장한다.
• 추정된 간선 확률과 노드의 차수를 사용해 τ에 의존하는 경계를 계산하기 위한 정규화된 인구 라플라시안을 구성한다.

실험 결과

연구 질문

• RQ1 스펙트럴 클러스터링에서 정규화가 커뮤니티 탐지에서 최소 차수 가정이 필요 없도록 할 수 있는가?
• RQ2 낮은 차수를 가진 노드가 잘 정의된 커뮤니티에 속하지 않는 경우 정규화가 클러스터 복원에 어떤 영향을 미치는가?
• RQ3 정규화 파arameter τ와 표본 라플라시안의 농도 및 고유값 간격 사이의 이론적 관계는 무엇인가?
• RQ4 이론적 경계를 추정함으로써 eigenvector 오차에 대한 경계를 최소화하는 데이터 기반 방법을 개발할 수 있는가?
• RQ5 제안된 DKest 방법은 클러스터링 정확도 측면에서 고정된 τ 값 선택과 비교하여 어떻게 성능을 발휘하는가?

주요 결과

• 두 블록을 가진 SBM에서 최대 차수가 log n을 초월해 증가할 경우 클러스터 복원이 가능하며, 이는 최소 차수가 이러한 조건을 만족시켜야 한다는 요구를 제거한다.
• 큰 τ로 정규화하면 잘 정의된 클러스터에 속하지 않는 낮은 차수의 노드를 효과적으로 제거하여 커뮤니티 간의 고유벡터 분리도 향상시킨다.
• 큰 τ에 대해 라플라시안 차이의 스펙트럴 노름에 대한 이론적 경계가 1/τ 비례로 감소하며, 이는 이전의 1/√τ 비율보다 향상된 것이다.
• 고유값 간격 또한 큰 τ에 대해 1/τ 비례로 감소하여 고유벡터 추정의 편향과 분산 간 균형 잡힌 트레이드오프를 나타낸다.
• DKest는 추정된 데이비스-카한 경계를 최소화함으로써 τ를 성공적으로 선택하며, 시뮬레이션 및 실제 데이터에서 고정된 τ 값 선택보다 뛰어난 성능을 발휘한다.
• DKest를 차수 보정 SBM로 확장함으로써 이질적인 노드 차수를 가진 네트워크에서 강건한 파arameter 선택이 가능해졌다.