[논문 리뷰] Learning Mixtures of Gaussians using the k-means Algorithm

Kamalika Chaudhuri, Sanjoy Dasgupta외 1명|ArXiv.org|2009. 12. 01.

Advanced Clustering Algorithms Research참고 문헌 26인용 수 31

한 줄 요약

이 논문은 구형 가우시안 혼합 분포를 학습하기 위한 k-means 알고리즘을 분석하며, 두 성분에 대한 2-means의 대칭화된 변형을 도입하여 성분 평균이 생성하는 부분공간으로 수렴함을 보여준다. 정확한 수렴 속도, 표본 복잡도 상한 및 정보 이론적 하한을 확립하여, 성분 간 겹침이 적고 차원 수준이 보통일 경우 k-means가 표본 효율성에서 거의 최적임을 보여준다.

ABSTRACT

One of the most popular algorithms for clustering in Euclidean space is the $k$-means algorithm; $k$-means is difficult to analyze mathematically, and few theoretical guarantees are known about it, particularly when the data is {\em well-clustered}. In this paper, we attempt to fill this gap in the literature by analyzing the behavior of $k$-means on well-clustered data. In particular, we study the case when each cluster is distributed as a different Gaussian -- or, in other words, when the input comes from a mixture of Gaussians. We analyze three aspects of the $k$-means algorithm under this assumption. First, we show that when the input comes from a mixture of two spherical Gaussians, a variant of the 2-means algorithm successfully isolates the subspace containing the means of the mixture components. Second, we show an exact expression for the convergence of our variant of the 2-means algorithm, when the input is a very large number of samples from a mixture of spherical Gaussians. Our analysis does not require any lower bound on the separation between the mixture components. Finally, we study the sample requirement of $k$-means; for a mixture of 2 spherical Gaussians, we show an upper bound on the number of samples required by a variant of 2-means to get close to the true solution. The sample requirement grows with increasing dimensionality of the data, and decreasing separation between the means of the Gaussians. To match our upper bound, we show an information-theoretic lower bound on any algorithm that learns mixtures of two spherical Gaussians; our lower bound indicates that in the case when the overlap between the probability masses of the two distributions is small, the sample requirement of $k$-means is {\em near-optimal}.

연구 동기 및 목표

• 이슬로 클러스터링된 데이터에서 k-means의 이론적 행동을 이해하기 위해, 특히 데이터가 가우시안 혼합 분포를 따를 경우를 대상으로 한다.
• 두 성분으로 이루어진 구형 가우시안 혼합 분포에서 대칭화된 2-means 변형의 수렴 성질을 분석한다.
• k-means를 사용하여 두 개의 구형 가우시안을 학습하기 위한 표본 복잡도에 대한 상한과 하한을 설정한다.
• 성분 평균이 생성하는 부분공간으로 수렴함을 보여주는 바탕으로 k-성분 혼합 분포로 분석을 확장한다.

제안 방법

• k-means 알고리즘의 대칭화된 변형을 도입하여 가우시안 혼합 분포에서의 안정성과 수렴성을 향상시킨다.
• 수렴을 추적하기 위해 잠재 함수 θₜ를 정의하며, 이는 초평면의 법선 방향과 평균 부분공간 사이의 최소 각도를 나타낸다.
• 평균 부분공간과 수직 성분에 대한 투영을 포함하는 새로운 기하학적 분석을 사용하여 θₜ의 갱신 규칙을 유도한다.
• θₜ, 성분 평균, 분산 및 혼합 비율에 대한 cos²(θₜ₊₁)의 정확한 표현을 유도한다.
• Fano의 부등식을 적용하여 두 개의 구형 가우시안을 학습하기 위한 표본 복잡도에 대한 정보 이론적 하한을 유도한다.
• 2-means의 초평면 법선이 성분 평균이 생성하는 부분공간 M에 수렴함을 보여줌으로써 k-성분 혼합 분포로 분석을 확장한다.

실험 결과

연구 질문

• RQ1 대칭화된 2-means 알고리즘이 두 개의 구형 가우시안 혼합 분포를 학습할 때 어떻게 행동하는가?
• RQ2 큰 표본 크기와 고차원 설정에서 2-means 변형의 정확한 수렴 속도는 무엇인가?
• RQ3 2-means 변형이 진짜 성분 평균의 양호한 근사치를 달성하기 위해 필요한 최소 표본 수는 얼마인가?
• RQ4 표본 복잡도는 차원 수와 가우시안 평균 간의 분리 정도에 따라 어떻게 변화하는가?
• RQ5 두 개의 구형 가우시안을 학습하기 위해 2-means의 표본 복잡도는 거의 최적인가?

주요 결과

• 대칭화된 2-means 알고리즘은 최소 분리 조건 없이도 두 개의 구형 가우시안 성분의 평균을 포함하는 부분공간을 성공적으로 분리한다.
• 2-means 변형의 수렴 속도는 차원에 대해 로그적이고, 성분 평균 간의 분리 정도가 클수록 향상된다.
• 2-means가 양호한 해로 수렴하기 위해 필요한 표본 수에 대한 상한은 차원 수가 증가함에 따라 증가하고, 평균 간 분리 정도가 클수록 감소한다.
• 정보 이론적 하한을 통해 2-means의 표본 복잡도가 성분 간 겹침이 적을 경우 거의 최적임을 보여준다.
• k-성분 혼합 분포의 경우, 2-means의 초평면 법선은 성분 평균이 생성하는 부분공간에 속하는 벡터로 수렴함을 확인하여 부분공간 수렴을 확인한다.