[논문 리뷰] Robustly Learning any Clusterable Mixture of Gaussians

Ilias Diakonikolas, Samuel B. Hopkins외 2명|arXiv (Cornell University)|2020. 05. 13.

Machine Learning and Algorithms참고 문헌 36인용 수 15

한 줄 요약

이 논문은 적대적 오염 하에 임의의 군집 가능 가우시안 혼합 모델을 다항 시간 내에 안정적으로 학습할 수 있는 최초의 알고리즘을 제시한다. 이 알고리즘은 총변화 거리에서 near-optimal 오차 $\tilde{O}(\varepsilon)$ 를 달성한다. 이는 반대 집중성과 매개변수 거리 특성화를 활용한 새로운 SoS 기반 식별성 증명을 통해 이루어지며, 구성 요소의 평균이 동일하거나 임의의 공분산을 가질 경우에도 안정적인 군집화를 보장한다. 이는 구성 요소 간의 쌍별 겹침이 $\varepsilon$ 에 대한 다항식으로 유계일 경우에 한하여 가능하다. 핵심 기여는 정확한 군집화를 위해 필요한 가장 약한 분리 조건 하에서 증명 가능하고 안정적인 학습 프레임워크를 제공하는 것이다.

ABSTRACT

We study the efficient learnability of high-dimensional Gaussian mixtures in the outlier-robust setting, where a small constant fraction of the data is adversarially corrupted. We resolve the polynomial learnability of this problem when the components are pairwise separated in total variation distance. Specifically, we provide an algorithm that, for any constant number of components $k$, runs in polynomial time and learns the components of an $ε$-corrupted $k$-mixture within information theoretically near-optimal error of $ ilde{O}(ε)$, under the assumption that the overlap between any pair of components $P_i, P_j$ (i.e., the quantity $1-TV(P_i, P_j)$) is bounded by $\mathrm{poly}(ε)$. Our separation condition is the qualitatively weakest assumption under which accurate clustering of the samples is possible. In particular, it allows for components with arbitrary covariances and for components with identical means, as long as their covariances differ sufficiently. Ours is the first polynomial time algorithm for this problem, even for $k=2$. Our algorithm follows the Sum-of-Squares based proofs to algorithms approach. Our main technical contribution is a new robust identifiability proof of clusters from a Gaussian mixture, which can be captured by the constant-degree Sum of Squares proof system. The key ingredients of this proof are a novel use of SoS-certifiable anti-concentration and a new characterization of pairs of Gaussians with small (dimension-independent) overlap in terms of their parameter distance.

연구 동기 및 목표

• 적대적 오염 하에 고차원 가우시안 혼합 모델의 다항 시간 학습 가능성 문제를 해결한다. 여기서 데이터의 상수 비율 이하가 오염될 수 있다.
• 정확한 군집화가 정보 이론적으로 가능해지는 데 필요한 가장 약한 분리 조건을 규명한다. 이 조건은 쌍별 총변화 거리 겹침이 $\mathrm{poly}(\varepsilon)$ 이하로 제한됨으로써 정의된다.
• 임의의 공분산과 동일한 평균을 가진 $k$-성분 가우시안 혼합 모델을 안정적이고 효율적으로 학습할 수 있는 알고리즘을 개발한다. 이는 매개변수 거리가 작은 겹침을 보장할 경우에 한하여 가능하다.
• 오염된 상황에서도 가우시안 혼합 모델의 구조를 포착할 수 있는 새로운 SoS 프레임워크 기반의 안정적 식별성 증명을 제공한다.
• 특히 $k=2$ 인 경우에도 진짜 성분과 추정 성분 간의 총변화 거리에서 near-optimal 오차 $\tilde{O}(\varepsilon)$ 를 달성한다.

제안 방법

• 알고리즘은 SoS 증명 체계를 사용하여, 적대적 오염 하에서도 군집이 식별 가능함을 증명함으로써 군집의 안정적 식별성을 확보한다.
• SoS에 의해 증명 가능한 반대 집중성의 새로운 응용을 통해, 구성 요소가 다를 확률 밀도가 높은 영역에서의 질량을 하한으로 제시함으로써 안정적인 분리가 가능해진다.
• 두 가우시안의 작은 (차원에 의존하지 않는) 겹침을 매개변수 거리의 관점에서 새롭게 특성화함으로써, 최소한의 분리 조건 하에서도 안정적인 군집화를 가능하게 한다.
• 안정적인 군집화와 함께, 가짜 클러스터의 분산 한계를 이용해 깨끗한 샘플을 오염된 샘플에서 분리하는 복구 단계를 도입한다.
• 토너먼트 기반 선택 절차를 통해 다수의 후보 군집화 중 최적의 가설을 선정함으로써 오차 한계가 $O(\varepsilon \log(1/\varepsilon))$ 스케일로 조절된다.
• 마지막으로 재군집화된 샘플에 대해 안정적인 추정을 수행하여 성분 매개변수를 정밀화함으로써 총변화 거리 오차를 $\tilde{O}(\varepsilon)$ 수준으로 달성한다.

실험 결과

연구 질문

• RQ1 적대적 오염 하에서도 구성 요소의 평균이 동일하거나 임의의 공분산을 가질 수 있는 경우, 어떤 군집 가능 가우시안 혼합 모델이라도 다항 시간 내에 학습할 수 있는가?
• RQ2 정확한 군집화가 정보 이론적으로 가능해지는 데 필요한 가장 약한 분리 조건은 무엇인가? 이 조건은 쌍별 총변화 거리 겹침이 $\mathrm{poly}(\varepsilon)$ 이하로 제한됨으로써 정의된다.
• RQ3 기존의 모멘트 기반 방법이 실패하는 상황에서도 SoS 프레임워크를 활용해 오염된 가우시안 혼합 성분의 안정적 식별성을 증명할 수 있는가?
• RQ4 특히 $k=2$ 인 경우에도 $\varepsilon$-오염 하에서 매개변수 추정의 총변화 거리 오차를 near-optimal 수준인 $\tilde{O}(\varepsilon)$ 로 달성할 수 있는가?
• RQ5 SoS 프레임워크 내에서 반대 집중성 성질을 활용하여 고차원 혼합 모델에서의 안정적 군집화를 증명할 수 있는가?

주요 결과

• 논문은 $\varepsilon$-오염 하에서도 가장 약한 분리 조건 하에서 $k$-혼합 가우시안 모델을 다항 시간 내에 안정적으로 학습할 수 있는 최초의 알고리즘을 제시한다. 이는 $k=2$ 인 경우에도 해당된다.
• 알고리즘은 진짜 성분과 추정 성분 간의 총변화 거리 오차가 $\tilde{O}(\varepsilon)$ 를 달성하며, 이는 정보 이론적으로 near-optimal하다.
• 분리 조건은 쌍별 겹침 $1 - \mathrm{TV}(P_i, P_j) \leq \mathrm{poly}(\varepsilon)$ 로 정의되며, 평균이 동일하더라도 공분산이 충분히 다를 경우를 허용한다.
• 핵심 기술적 기여는 기존의 모멘트 한계가 필요 없이도 안정적인 식별성을 보장할 수 있는 새로운 SoS에 의해 증명 가능한 반대 집중성 증명이다.
• 이 방법은 임의의 공분산과 비균일한 혼합 비율을 모두 처리할 수 있으며, 최종 추정 단계에서 오차가 $O(\varepsilon \log(1/\varepsilon))$ 스케일로 조절된다.
• 이 프레임워크는 비균일 혼합 모델로 일반화 가능하며, 높은 확률로 정확한 군집화로 수렴하는 안정적인 가설 선택 절차를 포함한다.