[논문 리뷰] Mixture Models, Robustness, and Sum of Squares Proofs

Samuel B. Hopkins, Jerry Li|arXiv (Cornell University)|2017. 11. 20.

Machine Learning and Algorithms참고 문헌 42인용 수 5

한 줄 요약

이 논문은 높은 차원에서 분리된 가우시안 혼합 모델 학습 및 강건한 평균 추정을 위한 새로운 다항 시간 알고리즘을 개발하기 위해 제곱합(SoS) 방법을 도입한다. 이는 구조화된 모멘트 경계를 통해 인증된 모멘트 경계를 활용하는 통합된 정수형 프로그래밍을 제시함으로써, 가우시안 혼합 모델의 오랫동안 존재하던 $k^{1/4}$ 분리 장벽을 돌파하고, 강건한 추정에서 오차 $ε^{1-1/t}$ 를 달성함으로써 개선된 오차 경계를 확보한다.

ABSTRACT

We use the Sum of Squares method to develop new efficient algorithms for learning well-separated mixtures of Gaussians and robust mean estimation, both in high dimensions, that substantially improve upon the statistical guarantees achieved by previous efficient algorithms. Firstly, we study mixtures of $k$ distributions in $d$ dimensions, where the means of every pair of distributions are separated by at least $k^{\varepsilon}$. In the special case of spherical Gaussian mixtures, we give a $(dk)^{O(1/\varepsilon^2)}$-time algorithm that learns the means assuming separation at least $k^{\varepsilon}$, for any $\varepsilon > 0$. This is the first algorithm to improve on greedy ("single-linkage") and spectral clustering, breaking a long-standing barrier for efficient algorithms at separation $k^{1/4}$. We also study robust estimation. When an unknown $(1-\varepsilon)$-fraction of $X_1,\ldots,X_n$ are chosen from a sub-Gaussian distribution with mean $μ$ but the remaining points are chosen adversarially, we give an algorithm recovering $μ$ to error $\varepsilon^{1-1/t}$ in time $d^{O(t^2)}$, so long as sub-Gaussian-ness up to $O(t)$ moments can be certified by a Sum of Squares proof. This is the first polynomial-time algorithm with guarantees approaching the information-theoretic limit for non-Gaussian distributions. Previous algorithms could not achieve error better than $\varepsilon^{1/2}$. Both of these results are based on a unified technique. Inspired by recent algorithms of Diakonikolas et al. in robust statistics, we devise an SDP based on the Sum of Squares method for the following setting: given $X_1,\ldots,X_n \in \mathbb{R}^d$ for large $d$ and $n = poly(d)$ with the promise that a subset of $X_1,\ldots,X_n$ were sampled from a probability distribution with bounded moments, recover some information about that distribution.

연구 동기 및 목표

• 구면 가우시안 혼합 모델의 다항 시간 클러스터링에서 오랫동안 존재하던 $k^{1/4}$ 분리 장벽을 극복하기 위해.
• 비가우시안 서브가우시안 분포에 대해 정보 이론적 오차 한계에 가까운 다항 시간 알고리즘을 개발하기 위해.
• 제곱합 방법을 사용하여 혼합 모델 학습과 강건한 추정을 동일한 프레임워크로 통합하기 위해.
• 적대적 오염이 있는 고차원 데이터에서 구조화된 부분집합(예: 양호한 샘플 또는 컴포넌트 클러스터)을 학습하는 데 있어 증명 가능한 보장을 제공하기 위해.
• 서브가우시안 꼬리 분포에 대해 $O(t)$ 차수까지의 모멘트 경계를 SoS 증명을 통해 인증함으로써, 더 강력한 알고리즘 보장을 가능하게 하기 위해.

제안 방법

• 고차원 데이터에서 유한한 경험 모멘트를 가진 구조화된 부분집합을 복구하기 위해 제곱합 방법에 기반한 정수형 프로그래밍(SDP)을 수립한다.
• SoS 증명을 사용하여, 양호한 샘플 부분집합(예: 서브가우시안 분포에서 유래)의 경험 모멘트가 $O(t)$ 차수까지 유한성 조건을 만족함을 인증한다.
• 평균 및 가중치 변수를 모델링하는 다항식 방정식에서 유도된 선형 제약 조건을 만족하는 의사기대값 연산자를 구성한다.
• SoS 양성 공리(axiom)를 활용하여 평균과 데이터 포인트를 포함하는 다항식 형태의 하한을 유도함으로써 진짜 모멘트 경계와의 일致성을 확보한다.
• 집중 불등식(예: Berry-Esseen)을 적용하여, 유한한 모멘트 조건 하에서 양호한 샘플의 경험 모멘트가 진짜 모멘트 주변에 집중됨을 보여준다.
• 적대적 오염을 다루기 위해 SoS 프레임워크를 수정함으로써, 전체 경험 평균 대신 오염되지 않은 부분집합의 평균을 사용하고, 오염에 따른 평균 이동에 대한 안정성 경계를 적용한다.

실험 결과

연구 질문

• RQ1 제곱합 방법은 다항 시간 클러스터링에서 구면 가우시안 혼합 모델의 $k^{1/4}$ 분리 장벽을 돌파할 수 있는가?
• RQ2 비가우시안 서브가우시안 분포에 대해 다항 시간 내에서 오차가 $\varepsilon^{1/2}$ 이하로 향상된 강건한 평균 추정이 가능한가?
• RQ3 혼합 모델 학습과 강건한 추정을 모두 포괄하는 통합된 SoS 기반 프레임워크가 존재하는가?
• RQ4 SoS 증명을 사용하여 꼬리가 서브가우시안인 분포에 대해 $O(t)$ 차수까지의 모멘트 경계를 인증할 수 있는가?
• RQ5 강건한 추정에서 알고리즘의 실행 시간은 원하는 오차 허용 오차 $\varepsilon$ 와 모멘트 차수 $t$ 에 따라 어떻게 변화하는가?

주요 결과

• 성분 수 $k$ 와 평균 간격이 최소 $k^{\varepsilon}$ 인 구면 가우시안 혼합 모델에 대해, 알고리즘은 $(dk)^{O(1/\varepsilon^2)}$ 시간 내에 실행되며 평균을 성공적으로 학습하여 이전의 효율적 알고리즘에서 존재하던 $k^{1/4}$ 장벽을 돌파한다.
• 오염 비율 $\varepsilon$ 인 환경에서의 강건한 평균 추정에 대해, 알고리즘은 $d^{O(t^2)}$ 시간 내에 진짜 평균을 $ε^{1-1/t}$ 오차 내로 복구하며 이는 이전 방법의 $ε^{1/2}$ 한계를 초월한다.
• 비가우시안 서브가우시안 분포에 대해 정보 이론적으로 거의 최적의 오차를 달성하였으며, 이는 다항 시간 알고리즘으로서는 최초의 성과이다.
• 이 방법은 인증된 모멘트 경계를 통해 혼합 성분과 강건 추정에서의 양호한 샘플을 모두 포괄하는 통합된 SoS 기반 SDP에 의존한다.
• 적대적 오염에 대해 강건한 이유는, $ε n$ 개의 이상치가 제거된 후에도 SoS 증명을 통해 모멘트 조건을 검증할 수 있기 때문이다.
• 서브가우시안 모멘트가 $O(t)$ 차수까지 SoS 증명을 통해 인증 가능하다는 가정 하에 이론적 보장이 확립되었으며, 이는 많은 자연 분포에서 성립한다.