[논문 리뷰] Faster and Sample Near-Optimal Algorithms for Proper Learning Mixtures of Gaussians

Constantinos Daskalakis, Gautam Kamath|arXiv (Cornell University)|2013. 12. 04.

Machine Learning and Algorithms참고 문헌 26인용 수 13

한 줄 요약

이 논문은 분離성 가정 없이 두 개의 단변량 가우시안 혼합분포를 적절히 학습하기 위한 더 빠르고 샘플 최적의 알고리즘을 제안한다. 이 알고리즘은 $\tilde{O}(1/\varepsilon^2)$의 샘플 복잡도와 $\tilde{O}(1/\varepsilon^5)$의 실행 시간을 달성하며, 이는 이전 연구에서 매개변수의 범위에 대한 의존성을 제거하고 가설 수에 대해 이차 시간에서 준선형 시간으로 실행 시간을 감소시켜 크게 향상시킨다.

ABSTRACT

We provide an algorithm for properly learning mixtures of two single-dimensional Gaussians without any separability assumptions. Given $ ilde{O}(1/\varepsilon^2)$ samples from an unknown mixture, our algorithm outputs a mixture that is $\varepsilon$-close in total variation distance, in time $ ilde{O}(1/\varepsilon^5)$. Our sample complexity is optimal up to logarithmic factors, and significantly improves upon both Kalai et al., whose algorithm has a prohibitive dependence on $1/\varepsilon$, and Feldman et al., whose algorithm requires bounds on the mixture parameters and depends pseudo-polynomially in these parameters. One of our main contributions is an improved and generalized algorithm for selecting a good candidate distribution from among competing hypotheses. Namely, given a collection of $N$ hypotheses containing at least one candidate that is $\varepsilon$-close to an unknown distribution, our algorithm outputs a candidate which is $O(\varepsilon)$-close to the distribution. The algorithm requires ${O}(\log{N}/\varepsilon^2)$ samples from the unknown distribution and ${O}(N \log N/\varepsilon^2)$ time, which improves previous such results (such as the Scheffé estimator) from a quadratic dependence of the running time on $N$ to quasilinear. Given the wide use of such results for the purpose of hypothesis selection, our improved algorithm implies immediate improvements to any such use.

연구 동기 및 목표

• 분리성 가정 없이 두 개의 단변량 가우시안 혼합분포를 적절히 학습하기 위한 효율적이고 샘플 최적의 알고리즘이 부족한 문제를 해결한다.
• 이전 알고리즘에서 나타나는 $1/\varepsilon$에 대한 금지적인 의존성을 극복한다. 예를 들어, [KMV10]에서의 $\Omega(1/\varepsilon^{1377})$ 실행 시간 복잡도를 포함한다.
• 혼합분포의 매개변수(예: 평균과 분산의 범위 등)에 대한 사전 범위가 필요로 하는 것을 제거한다. 이는 [FOS06]에서의 다항식 시간 복잡도를 유도하였다.
• 가설 수 $N$에 대해 $O(N^2/\varepsilon^2)$에서 $O(N\log N/\varepsilon^2)$로 실행 시간을 감소시켜 Scheffé 추정기보다 향상된 새로운 가설 선택 알고리즘을 개발한다.
• 기초적인 분포 학습 문제인 단변량 가우시안 혼합분포의 적절한 학습을 위해 샘플 복잡도는 거의 최적이고 실행 시간은 향상된 결과를 달성한다.

제안 방법

• 두 단계 선택 기반(FastTournament A 및 B)을 사용하여 진짜 혼합분포에 가까운 후보 분포를 효율적으로 식별하는 새로운 가설 선택 알고리즘인 FastTournament를 제안한다.
• 두 혼합분포의 한 점에서의 밀도를 평가하여 어느 쪽이 더 큰지 판단하는 샘플 효율적인 비교기(comparator)를 도입한다. 이는 전체 분포 평가 없이도 효율적인 비교를 가능하게 한다.
• 가설 선택 과정에서 후보 가우시안 혼합분포로부터 샘플을 생성하기 위해 Box-Muller 변환을 활용한다.
• 가설이 쌍별 비교에서 진실 경우에만 제거되는 새로운 샘플 기반 토너먼트 메커니즘을 활용하여, 높은 확률로 강건성과 정확성을 확보한다.
• Theorem 11로부터 유도된 후보 생성 단계와 가설 선택 프레임워크를 결합하여, 진짜 분포에서 $\varepsilon$-근접한 혼합분포를 포함하는 혼합분포 집합을 생성한다.
• 확률적 보장에 기반한 정확성 확보: 알고리즘이 $\tilde{O}(\log(1/\delta)/\varepsilon^2)$의 샘플과 $\tilde{O}(\log^3(1/\delta)/\varepsilon^5)$의 시간을 사용하여 확률 $1-\delta$ 이상로 진짜 분포에서 $O(\varepsilon)$-근접한 혼합분포를 출력한다.

실험 결과

연구 질문

• RQ1 로그arithmic 요소를 제외한 최적의 샘플 복잡도를 갖는 두 개의 단변량 가우시안 혼합분포에 대한 적절한 학습 알고리즘을 설계할 수 있는가?
• RQ2 이전 알고리즘을 뒤얽히게 하는 매개변수의 사전 범위(예: 평균과 분산의 범위 등)에 대한 의존성을 제거할 수 있는가?
• RQ3 후보 가설 수에 대해 실행 시간을 이차에서 준선형으로 감소시킬 수 있는가?
• RQ4 성분 가우시안 간의 분리성 조건 없이도 샘플 및 시간 복잡도를 거의 최적화할 수 있는가?
• RQ5 고확률로 진짜 혼합분포에서 $O(\varepsilon)$-근접한 분포를 출력하는 강건하고 효율적인 토너먼트 기반 선택 메커니즘을 구축할 수 있는가?

주요 결과

• 알고리즘은 $\tilde{O}(1/\varepsilon^2)$의 샘플 복잡도를 달성하며, 이는 로그 요소를 제외한 최적이다.
• 실행 시간은 $\tilde{O}(1/\varepsilon^5)$이며, 이는 [KMV10]에서의 $\Omega(1/\varepsilon^{1377})$ 실행 시간 복잡도에 비해 크게 향상된 결과이다.
• 가설 선택 알고리즘인 FastTournament는 $O(N\log N/\varepsilon^2)$의 시간으로 실행되며, 이는 이전 방법들(예: Scheffé 추정기)의 $O(N^2/\varepsilon^2)$보다 향상된 결과이다.
• 기대 실행 시간은 $\tilde{O}(\log^2(1/\delta)/\varepsilon^5)$이며, 최악의 경우 실행 시간은 $\tilde{O}(\log^3(1/\delta)/\varepsilon^5)$로 모두 거의 최적이다.
• 분리성 조건이나 매개변수의 범위 없이도 총 변동 거리에서 $O(\varepsilon)$-근접한 혼합분포를 확률 $1-\delta$ 이상으로 출력한다.
• 핵심 선택 서브루틴의 시간 복잡도 향상 덕분에, 가설 선택에 의존하는 모든 애플리케이션에 즉각적인 향상이 가능하다.