[논문 리뷰] Understanding Regularized Spectral Clustering via Graph Conductance

Yilin Zhang, Karl Rohe|arXiv (Cornell University)|2018. 06. 05.

Complex Network Analysis Techniques인용 수 47

한 줄 요약

본 논문은 그래프 전도도(graph conductance)를 스펙트럴 클러스터링과 연결하여 Sparse 그래프에서 Vanilla-SC의 실패를 설명하고, CoreCut를 통한 정규화가 균형과 강인성을 개선하며 계산 속도를 높임를 보여준다.

ABSTRACT

This paper uses the relationship between graph conductance and spectral clustering to study (i) the failures of spectral clustering and (ii) the benefits of regularization. The explanation is simple. Sparse and stochastic graphs create a lot of small trees that are connected to the core of the graph by only one edge. Graph conductance is sensitive to these noisy `dangling sets'. Spectral clustering inherits this sensitivity. The second part of the paper starts from a previously proposed form of regularized spectral clustering and shows that it is related to the graph conductance on a `regularized graph'. We call the conductance on the regularized graph CoreCut. Based upon previous arguments that relate graph conductance to spectral clustering (e.g. Cheeger inequality), minimizing CoreCut relaxes to regularized spectral clustering. Simple inspection of CoreCut reveals why it is less sensitive to small cuts in the graph. Together, these results show that unbalanced partitions from spectral clustering can be understood as overfitting to noise in the periphery of a sparse and stochastic graph. Regularization fixes this overfitting. In addition to this statistical benefit, these results also demonstrate how regularization can improve the computational speed of spectral clustering. We provide simulations and data examples to illustrate these results.

연구 동기 및 목표

• 외곽의 매달린 집합(dangling sets)으로 인해 희소하고 확률적 그래프에서 Vanilla-SC가 실패하는 이유를 설명한다.
• Regularized-SC와 관련된 정규화된 그래프 전도도인 CoreCut를 도입한다.
• Regularized-SC가 과적합을 완화하고 파티션의 균형을 개선하는 방법을 보여준다.
• 실험을 통해 고유값 계산이 빨라지는 등 스펙트럴 클러스터링에서 정규화의 계산적 이점을 시연한다.

제안 방법

• 정규화를 동기화하기 위해 Cheeger 부등식을 통해 그래프 전도도를 스펙트럴 클러스터링과 관련짓다.
• g-dangling sets를 정의하고, 이것들이 희소 그래프에서 작은 전도도를 초래한다는 것을 보이다.
• 실제 세계의 희소 그래프에 많은 g-dangling sets가 존재함을 증명하고, 이는 많은 작은 고유값과 느린 수렴으로 이어진다.
• 정규화된 그래프 G_tau에서의 정규화된 전도도인 CoreCut를 도입하고 이를 Regularized-SC와 연결한다.
• 특정 tau 선택 하에서 CoreCut이 주변의 절단보다 코어 파티션을 선호하는 경계를 도출한다.
• Vanilla-SC와 Regularized-SC를 비교하는 실험적 시뮬레이션과 실제 데이터 실험을 제공한다.

실험 결과

연구 질문

• RQ1 그래프 전도도는 희소하고 확률적 그래프에서 Vanilla-SC의 실패와 어떤 관계가 있는가?
• RQ2 정규화가 전도도 지형을 어떻게 바꿔 코어 그래프 파티션을 선호하게 하는가?
• RQ3 CoreCut란 무엇이며, 그래프 정규화를 통해 Regularized-SC와 어떻게 연결되는가?
• RQ4 Regularized-SC 해가 실제로 파티션의 균형을 개선하고 과적합을 줄이는가?
• RQ5 정규화된 스펙트럴 클러스터링의 계산적 함의는 무엇인가?

주요 결과

• 희소하고 확률적 그래프에는 구조가 아닌 잡음을 시사하는 많은 g-dangling sets가 존재하여 작은 전도도 값과 다수의 작은 고유값을 생성한다.
• CoreCut 정규화는 작은 주변 절단을 무시하고 코어 그래프 구조를 강조하도록 전도도를 바꿔 Regularized-SC와 일치시킨다.
• Regularized-SC는 Vanilla-SC에 비해 더 균형 잡힌 파티션을 산출하며, Vanilla-SC는 잡음 주도 절단으로 불균형한 경향이 있다.
• 제시된 실험에서 Regularized-SC 계산은 Vanilla-SC 대비 두 번째 고유벡터를 얻는 데 더 빠르다.