[논문 리뷰] Optimality of Spectral Clustering in the Gaussian Mixture Model

Matthias Löffler, Anderson Y. Zhang외 1명|arXiv (Cornell University)|2019. 11. 01.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 스펙트럴 클러스터링이 스펙트럴 갭 조건을 필요로 하지 않는 등방성 가우시안 믹스처 모델에서 최대위험 최적성을 확립한다. 클러스터 크기, 차원 수, 신호 대 잡음 비율에 대한 약한 조건 하에서, 스펙트럴 클러스터링은 클러스터 간 거리의 제곱에 비례하는 지수적으로 감소하는 오차율을 달성한다.

ABSTRACT

Spectral clustering is one of the most popular algorithms to group high dimensional data. It is easy to implement and computationally efficient. Despite its popularity and successful applications, its theoretical properties have not been fully understood. In this paper, we show that spectral clustering is minimax optimal in the Gaussian Mixture Model with isotropic covariance matrix, when the number of clusters is fixed and the signal-to-noise ratio is large enough. Spectral gap conditions are widely assumed in the literature to analyze spectral clustering. On the contrary, these conditions are not needed to establish optimality of spectral clustering in this paper.

연구 동기 및 목표

• 일반 조건 하에서 등방성 가우시안 믹스처 모델(GMM)에서 스펙트럴 클러스터링의 이론적 최적성을 확립하기 위해.
• 스펙트럴 클러스터링 성능의 경험적 성공과 이론적 이해 간 격차를 메우기 위해.
• 이전 이론 분석에서 흔히 사용되는 스펙트럴 갭 조건의 필요성을 제거하기 위해.
• 최적의 오분류율을 도출하고, 스펙트럴 클러스터링이 추가 보정 단계 없이 이를 달성할 수 있음을 보여주기 위해.
• 증가하는 클러스터 수와 비균일한 클러스터 크기를 가진 설정으로 결과를 확장하기 위해.

제안 방법

• 정규 분포를 따르는 데이터에서 중심이 분리된 등방성 공분산을 가진 GMM에 스펙트럴 클러스터링을 적용한다.
• 데이터 행렬의 스펙트럼 분해를 통해 주요 고유공간에 투영한 후, 압축된 차원 표현에 대해 k-means를 수행한다.
• 오차 추정의 고유벡터 및 고유치에 대한 경계를 도출하기 위해 랜덤 행렬 이론과 스펙트럼 편향 분석을 사용한다.
• 카이제곱 尾부 경계와 Borell의 부등식을 활용해 노이즈 성분의 농도 부등식을 유도한다.
• 모든 데이터 포인트에 걸쳐 정규화된 함마잉 손실을 제어하기 위해 유니온 바운드와 마르코프 부등식을 적용한다.
• 오차 분해에서 편향과 분산을 균형 있게 조절하기 위해 정교하게 조정된 튜닝 파rameter(ρ, ρ′, ρ′′)를 도입한다.

실험 결과

연구 질문

• RQ1 스펙트럴 갭 조건 없이 등방성 GMM에서 스펙트럴 클러스터링은 최대위험 최적인가?
• RQ2 일반 조건 하에서 등방성 GMM에서 달성 가능한 최적의 오분류율은 무엇인가?
• RQ3 스펙트럴 클러스터링은 라이드 알고리즘과 같은 추가 보정 단계 없이도 이 최적율을 달성할 수 있는가?
• RQ4 성능은 클러스터 간 거리 ∆, 차원 수 p, 표본 수 n에 어떻게 의존하는가?
• RQ5 클러스터 수가 n과 함께 증가하고 클러스터 크기가 비균일할 경우에도 최적성은 유지되는가?

주요 결과

• 스펙트럴 클러스터링은 등방성 GMM에서 최적의 오분류율을 달성하며, 오차는 exp(−(1−o(1))∆²/8)로 감소한다.
• 이 최적성은 일반적으로 이전 이론 작업에서 가정되는 스펙트럴 갭 조건이 필요하지 않다.
• 클러스터 수가 n과 함께 증가하고 클러스터 크기가 균일하지 않더라도 이 방법은 최적 성능을 달성한다.
• 오차율은 ∆²에 대해 지수적으로 작아지며, 문제의 최소최대 하한과 정확히 일치한다.
• 분석 결과 스펙트럴 클러스터링 자체만으로도 최적의 복원이 가능함을 보여주며, 따로 온전한 시작 또는 반복적 개선이 필요하지 않다.
• 고정 또는 증가하는 클러스터 수, p ≤ O(n), 그리고 ∆ → ∞ 조건 하에서도 결과가 성립한다.