[논문 리뷰] Clustering a Mixture of Gaussians with Unknown Covariance

Damek Davis, Mateo Díaz외 1명|arXiv (Cornell University)|2021. 10. 04.

Bayesian Methods and Mixture Models참고 문헌 89인용 수 6

한 줄 요약

이 논문은 공분산이 알려져 있지 않거나 악조건일 수 있는 두 개의 가우시안 혼합 모형을 클러스터링하기 위한 최대 컷 정수계획문제를 최대우도추정에 기반하여 제안한다. 이 방법은 차원에 대해 선형 샘플 복잡도로 최적의 오분류율을 달성함을 증명하며, 동시에 최적의 비율을 달성하지만 이차 샘플 크기를 요구하는 계산적으로 효율적인 스펙트럼 알고리즘을 도입함으로써 통계-계산 갭이 존재할 가능성을 시사한다.

ABSTRACT

We investigate a clustering problem with data from a mixture of Gaussians that share a common but unknown, and potentially ill-conditioned, covariance matrix. We start by considering Gaussian mixtures with two equally-sized components and derive a Max-Cut integer program based on maximum likelihood estimation. We prove its solutions achieve the optimal misclassification rate when the number of samples grows linearly in the dimension, up to a logarithmic factor. However, solving the Max-cut problem appears to be computationally intractable. To overcome this, we develop an efficient spectral algorithm that attains the optimal rate but requires a quadratic sample size. Although this sample complexity is worse than that of the Max-cut problem, we conjecture that no polynomial-time method can perform better. Furthermore, we gather numerical and theoretical evidence that supports the existence of a statistical-computational gap. Finally, we generalize the Max-Cut program to a $k$-means program that handles multi-component mixtures with possibly unequal weights. It enjoys similar optimality guarantees for mixtures of distributions that satisfy a transportation-cost inequality, encompassing Gaussian and strongly log-concave distributions.

연구 동기 및 목표

• 이차 가우시안 혼합 모형에서 평균과 공분산이 모두 알려져 있지 않을 때, 근사 선형 샘플 복잡도로 최적의 클러스터링 오분류율을 달성할 수 있는지에 대한 열린 문제를 다루는 것.
• 이차 샘플 크기를 요구하지만 최적의 오분류율을 달성하는 계산적으로 효율적인 알고리즘을 개발하는 것.
• 알려져 있지 않은 공분산을 가진 가우시안 혼합 모형의 클러스터링에서 통계-계산 갭이 존재하는지 조사하는 것.
• 가능한 비균형 가중치를 가진 다성분 혼합 모형을 다룰 수 있도록 최대 컷 공식화를 k-means 프로그램으로 일반화하는 것.
• 운반 비용 불등식을 만족하는 조건 하에서 k-means 프로그램의 최적성 보장을 확립하는 것. 이는 가우시안 및 강한 로그-볼록 분포를 포함한다.

제안 방법

• 공분산이 알려져 있지 않은 두 성분 가우시안 혼합 모형에 대해 최대우도추정에 기반한 최대 컷 정수계획문제를 수립한다.
• 샘플 크기가 차원에 대해 선형으로 증가할 때(로그 인자까지), 최대 컷 프로그램의 해가 베이즈 최적 오분류율을 달성함을 증명한다.
• 최적 오류율을 달성하지만 이차 샘플 크기를 요구하는 스펙트럼 알고리즘을 개발하여 계산적 병목 현상이 존재할 수 있음을 시사한다.
• 비균형 성분 가중치를 가진 다성분 혼합 모형을 다룰 수 있도록 최대 컷 프로그램을 k-means 유사 프로그램으로 일반화한다.
• 운반 비용 불등식 조건 하에서 k-me안 프로그램의 이론적 보장을 확립한다. 이 조건은 가우시안 및 강한 로그-볼록 분포를 포함한다.
• 고차원 점근적 분석 하에서 최대 컷 및 스펙트럼 추정기의 행동을 분석하기 위해 농도 부등식과 기하 확률 도구를 사용한다.

실험 결과

연구 질문

• RQ1 두 성분 가우시안 혼합 모형에서 평균과 공분산이 모두 알려져 있지 않을 때, 근사 선형 샘플 복잡도로 베이즈 최적 오분류율을 달성할 수 있는가?
• RQ2 알려져 있지 않은 공분산 조건 하에서 최적 오류율을 달성하는 계산적으로 효율적인 추정기 존재하는가?
• RQ3 알려져 있지 않은 공분산을 가진 가우시안 혼합 모형의 클러스터링에서, 최적 오류율을 달성하기 위해 다항시간 알고리즘이 처리할 수 있는 범위를 초월하는 더 많은 샘플이 필요한 통계-계산 갭이 존재하는가?
• RQ4 최대 컷 공식화는 비균형 성분 가중치를 가진 다성분 혼합 모형을 다룰 수 있도록 일반화될 수 있는가?
• RQ5 제안된 추정기들은 운반 비용 불등식 조건을 만족하는 더 넓은 분포 가정 하에서도 최적성을 유지하는가? 예를 들어, 가우시안 및 강한 로그-볼록 분포를 포함한 경우.

주요 결과

• 최대 컷 정수계획문제가 차원에 대해 선형 샘플 복잡도로 최적의 오분류율을 달성하며, 이는 로그 인자까지 허용된다.
• 스펙트럼 알고리즘이 동일한 최적 오류율을 달성하지만 이차 샘플 크기를 요구함으로써 통계-계산 갭이 존재할 가능성이 시사된다.
• 수치적 및 이론적 증거는 통계-계산 갭 존재를 지지하며, 다항시간 알고리즘은 최대 컷 접근법의 선형 샘플 복잡도를 따라잡을 수 없다는 것을 시사한다.
• k-means 프로그램은 최대 컷 공식화를 다성분 혼합 모형으로 일반화하며, 운반 비용 불등식 조건 하에서 유사한 최적성 보장을 달성한다.
• 결과는 운반 비용 불등식 조건을 만족하는 분포, 즉 가우시안 및 강한 로그-볼록 분포로까지 확장되며, 이는 프레임워크의 적용 범위를 넓힌다.
• 논문은 베이즈 최적 오류율이 모든 추정기의 하한임을 확립하며, 최대 컷 방법은 최소한의 샘플 크기로 이 하한을 달성한다.