[논문 리뷰] Outlier-Robust Clustering of Non-Spherical Mixtures

Ainesh Bakshi, Pravesh K. Kothari|arXiv (Cornell University)|2020. 05. 06.

Bayesian Methods and Mixture Models참고 문헌 30인용 수 16

한 줄 요약

이 논문은 총변동(TV) 거리 분리 조건, 즉 통계적으로 최소한의 조건에서 $k$-차원 가우시안 혼합모형에 대해 처음으로 효율적이고 이상치에 강건한 클러스터링 알고리즘을 제시한다. 저자는 낮은 차수의 다항식의 증명 가능 초수렴성과 반집중성의 성질을 활용하여, 이상치에 강건한 $d^{\operatorname{poly}(k/\eta)}$-시간 알고리즘을 설계하였으며, 이 알고리즘은 성분들이 동일한 평균을 공유하지만 알려지지 않은 방향으로 분산이 다를 경우에도 $k^{O(k)}(\varepsilon + \eta)$ 이하의 잘못 분류 오차를 달성한다.

ABSTRACT

We give the first outlier-robust efficient algorithm for clustering a mixture of $k$ statistically separated d-dimensional Gaussians (k-GMMs). Concretely, our algorithm takes input an $ε$-corrupted sample from a $k$-GMM and whp in $d^{ ext{poly}(k/η)}$ time, outputs an approximate clustering that misclassifies at most $k^{O(k)}(ε+η)$ fraction of the points whenever every pair of mixture components are separated by $1-\exp(- ext{poly}(k/η)^k)$ in total variation (TV) distance. Such a result was not previously known even for $k=2$. TV separation is the statistically weakest possible notion of separation and captures important special cases such as mixed linear regression and subspace clustering. Our main conceptual contribution is to distill simple analytic properties - (certifiable) hypercontractivity and bounded variance of degree 2 polynomials and anti-concentration of linear projections - that are necessary and sufficient for mixture models to be (efficiently) clusterable. As a consequence, our results extend to clustering mixtures of arbitrary affine transforms of the uniform distribution on the $d$-dimensional unit sphere. Even the information-theoretic clusterability of separated distributions satisfying these two analytic assumptions was not known prior to our work and is likely to be of independent interest. Our algorithms build on the recent sequence of works relying on certifiable anti-concentration first introduced in the works of Karmarkar, Klivans, and Kothari and Raghavendra, and Yau in 2019. Our techniques expand the sum-of-squares toolkit to show robust certifiability of TV-separated Gaussian clusters in data. This involves giving a low-degree sum-of-squares proof of statements that relate parameter (i.e. mean and covariances) distance to total variation distance by relying only on hypercontractivity and anti-concentration.

연구 동기 및 목표

• 성분들이 총변동(TV) 거리로만 분리되어 있을 때, $k$-가우시안 혼합모형(GMM)에 대해 효율적이고 이상치에 강건한 클러스터링 알고리즘을 개발하는 것.
• 효율적 클러스터링을 위한 필수적이고 충분한 분석 조건인 증명 가능한 초수렴성과 반집중성을 식별하고 체계화하는 것.
• 낮은 차수의 SoS 증명을 통해 파arameter 거리와 TV 거리 간의 부등식을 증명함으로써, TV로 분리된 가우시안 클러스터의 강건한 증명 가능성을 확장하는 합의 제곱(SoS) 프레임워크의 확장.
• 알고리즘이 가우시안 외에도 $d$-차원 단위 구면 위의 균일 분포의 임의의 애핀 변환 혼합모형에도 적용될 수 있음을 보장하는 것.
• 이러한 분석 조건을 만족하는 분포의 정보 이론적 클러스터러빌리티를 규명하는 것인데, 이는 이전까지 알려져 있지 않았다.

제안 방법

• 알고리즘은 파라미터 거리(평균 및 공분산)와 총변동 거리 간의 부등식을 낮은 차수의 SoS 증명을 통해 구성한다.
• 이상치에 대한 강건성을 확보하기 위해 선형 사영의 증명 가능한 반집중성과 차수 2 다항식의 증명 가능한 초수렴성을 활용한다.
• 가우시안 초수렴성에 기반하여 행렬 부등식 $\|AB\|_F^2 \leq \|A\|_{op}^2 \|B\|_F^2$ 의 낮은 차수 SoS 형태를 증명하며, 이는 상수 요소의 손실을 수반한다.
• SoS 프레임워크 내의 상쇄 레지멘트를 통해 다항식의 거듭제곱을 포함하는 부등식을 단순화함으로써, 제약 조건 하에서 강건한 추론을 가능하게 한다.
• 이 알고리즘은 이상치를 처리하기 위해 부분 클러스터링을 반복 적용하여 $d^{\operatorname{poly}(k/\eta)}$ 시간 내에 효율적인 런타임을 달성한다.
• 비구형 성분을 다룰 수 있도록 프레임워크 내에서 프리미티브로 프리미티브 공분산 추정을 강건하게 수행한다.

실험 결과

연구 질문

• RQ1 성분들이 총변동 거리로만 분리되어 있을 때, $k$-가우시안 혼합모형에 대해 효율적이고 이상치에 강건한 클러스터링 알고리즘을 설계할 수 있는가?
• RQ2 이상치에 강건한 환경에서 $k$-GMM의 효율적 클러스터링을 위해 필수적이고 충분한 분석적 성질는 무엇인가?
• RQ3 합의 제곱(SoS) 프레임워크를 확장하여, 2차 다항식의 농도와 반집중성만을 사용해 TV로 분리된 클러스터의 강건한 증명 가능성을 입증할 수 있는가?
• RQ4 증명 가능한 초수렴성과 반집중성을 만족하는 분포의 정보 이론적 클러스터러빌리티가 유지되는가? 그리고 이를 알고리즘적으로 실현할 수 있는가?
• RQ5 이 알고리즘은 가우시안 외에도 $d$-구면 위의 임의의 애핀 변환된 균일 분포 혼합모형으로 일반화될 수 있는가?

주요 결과

• 알고리즘은 TV 분리 조건 하에서 $d^{\operatorname{poly}(k/\eta)}$-시간 내에 $k$-GMM을 클러스터링하며, 잘못 분류 오차는 최대 $k^{O(k)}(\varepsilon + \eta)$ 이다.
• TV 분리는 클러스터링이 정보 이론적으로 가능할 수 있는 가장 약한 알려진 분리 조건이며, 성분들이 동일한 평균을 공유하지만 알려지지 않은 방향에서 분산이 다를 경우에도 알고리즘이 작동한다.
• 논문은 차수 2 다항식의 증명 가능한 초수렴성과 반집중성이 $k$-GMM의 효율적 클러스터링을 위한 필수적이고 충분한 조건임을 입증한다.
• 결과는 $d$-차원 단위 구면 위의 균일 분포의 임의의 애핀 변환 혼합모형으로까지 확장되며, 가우시안 외의 일반화를 가능하게 한다.
• 이 작업은 두 번째 모멘트와 반집중성 성질만을 기반으로 하여, 파라미터 거리와 총변동 거리 간의 부등식에 대한 첫 번째 낮은 차수 SoS 증명을 제공한다.
• 알고리즘은 $\varepsilon$-비율의 완전히 악성 이상치에 대해 강건하며, 고정된 $k$에 대해 $d$에 대해 다항식 시간 내에 런타임을 확보한다. 이는 $k=2$일 때에도 성립한다.