[논문 리뷰] Robustly Clustering a Mixture of Gaussians

Jia He, Santosh Vempala|arXiv (Cornell University)|2019. 11. 26.

Bayesian Methods and Mixture Models참고 문헌 27인용 수 4

한 줄 요약

이 논문은 최소한의 분리 조건—즉, 평균 또는 공분산 분리—하에 두 개의 가우시안 혼합 모델을 효율적이고 강건하게 군집화하는 알고리즘을 제안한다. 이는 등방향 위치와 피셔 판별 기반의 새로운 식별 가능성 기준, 그리고 고정 차수의 제곱합(Sum-of-Squares) 볼록 relaxation을 바탕으로 한다. 이 방법은 거의 최적의 분리 조건을 달성하며, 강건한 로그-볼록 분포로까지 확장 가능하다. 또한 총 변동 거리 분리 조건 역시 군집화에 충분하다.

ABSTRACT

We give an efficient algorithm for robustly clustering of a mixture of two arbitrary Gaussians, a central open problem in the theory of computationally efficient robust estimation, assuming only that the the means of the component Gaussians are well-separated or their covariances are well-separated. Our algorithm and analysis extend naturally to robustly clustering mixtures of well-separated strongly logconcave distributions. The mean separation required is close to the smallest possible to guarantee that most of the measure of each component can be separated by some hyperplane (for covariances, it is the same condition in the second degree polynomial kernel). We also show that for Gaussian mixtures, separation in total variation distance suffices to achieve robust clustering. Our main tools are a new identifiability criterion based on isotropic position and the Fisher discriminant, and a corresponding Sum-of-Squares convex programming relaxation, of fixed degree.

연구 동기 및 목표

• 강건 추정 이론의 핵심 미해결 문제를 해결하는 것: 계산적으로 타당한 가정 하에 두 개의 가우시안 혼합 모델을 효율적으로 군집화하는 것.
• 여전히 신뢰할 수 있는 군집화가 가능한 최소한의 성분 간 분리 조건을 규명하여 정보 이론적 한계에 가까이 다가가는 것.
• 가우시안을 초월해 잘 분리된 강건한 로그-볼록 분포의 혼합 모델로 군집화 프레임워크를 확장하는 것.
• 고정 차수의 제곱합(SOS) relaxation을 사용한 볼록 최적화 기반 방법을 개발하여 이론적으로 보장된 성능을 달성하는 것.

제안 방법

• 데이터를 등방향 위치로 변환하고 피셔 판별을 적용하여 성분을 분리하는 데 기반한 새로운 식별 가능성 기준을 도입한다.
• 군집화 문제를 효율적으로 해결하기 위해 고정 차수의 제곱합(SOS) 볼록 프로그래밍 relaxation을 사용한다.
• 평균 또는 공분산 분리 조건이 초평면 기반 분리에 충분함을 증명함으로써 강건한 군집화가 가능하다는 것을 보장한다.
• 공분산 분리 조건을 기술하기 위해 두 차수 다항식 커널을 적용한다.
• 성분 간 총 변동 거리가 가우시안 케이스에서 강건한 군집화를 보장하는 데 충분하다는 것을 입증한다.
• 강건한 로그-볼록 분포의 성질을 활용하여 가우시안을 초월한 방법의 일반화를 이룬다.

실험 결과

연구 질문

• RQ1 두 가우시안 간 최소한의 분리 조건은 무엇이며, 여전히 효율적이고 강건한 군집화가 가능한가?
• RQ2 등방향 위치에서의 피셔 판별이 가우시안 혼합 모델에 대한 강건한 식별 가능성 기준이 될 수 있는가?
• RQ3 알고리즘이 잘 분리된 강건한 로그-볼록 분포의 혼합 모델로 얼마나 넓게 일반화될 수 있는가?
• RQ4 성분 간 총 변동 거리가 가우시안 혼합 모델에서 강건한 군집화를 보장하는 데 충분한가?
• RQ5 고정 차수의 제곱합(SOS) relaxation이 최소한의 분리 조건 하에서 이론적으로 보장된 군집화 성능을 달성할 수 있는가?

주요 결과

• 알고리즘이 정보 이론적 최소값에 가까운 평균 또는 공분산 분리 조건 하에서도 강건한 군집화를 달성한다.
• 등방향 위치와 피셔 판별 기반의 식별 가능성 기준은 성분 간 분리가 최소한일지라도 효과적인 분리를 가능하게 한다.
• 이 방법은 잘 분리된 강건한 로그-볼록 분포의 혼합 모델로 자연스럽게 일반화된다.
• 성분 간 가우시안의 총 변동 거리는 강건한 군집화를 보장하는 데 충분하다.
• 고정 차수의 제곱합(SOS) relaxation은 계산적으로 효율적이고 이론적으로 정확한 군집화 문제 해결 방법을 제공한다.
• 공분산의 분리 조건은 두 차수 다항식 커널의 조건과 동치이며, 기하학적 및 커널 기반 접근 방식을 연결한다.