[논문 리뷰] A Nearly Optimal and Agnostic Algorithm for Properly Learning a Mixture of k Gaussians, for any Constant k

Jerry Zheng Li, Ludwig Schmidt|arXiv (Cornell University)|2015. 06. 03.

Machine Learning and Algorithms참고 문헌 29인용 수 12

한 줄 요약

이 논문은 샘플 복잡도 $\widetilde{O}(k/\epsilon^2)$ 와 실행 시간 $(k \log \frac{1}{\epsilon})^{O(k^4)} + \widetilde{O}(k/\epsilon^2)$ 를 달성하면서, 거의 최적이고 오차에 민감하지 않은 알고리즘을 제안한다. 이는 고정된 $k$ 에서 샘플 수에 대해 거의 선형적이다. 방법은 밀도 추정을 거쳐 다항식 시스템 풀이를 통해 추정된 밀도에 대해 가우시안 혼합 모델을 피팅하는 방식으로, 진짜 분포가 가우시안 혼합 모델이 아니더라도 오차에 민감하지 않은 학습이 가능하다.

ABSTRACT

Learning a Gaussian mixture model (GMM) is a fundamental problem in machine learning, learning theory, and statistics. One notion of learning a GMM is proper learning: here, the goal is to find a mixture of $k$ Gaussians $\mathcal{M}$ that is close to the density $f$ of the unknown distribution from which we draw samples. The distance between $\mathcal{M}$ and $f$ is typically measured in the total variation or $L_1$-norm. We give an algorithm for learning a mixture of $k$ univariate Gaussians that is nearly optimal for any fixed $k$. The sample complexity of our algorithm is $ ilde{O}(\frac{k}{ε^2})$ and the running time is $(k \cdot \log\frac{1}ε)^{O(k^4)} + ilde{O}(\frac{k}{ε^2})$. It is well-known that this sample complexity is optimal (up to logarithmic factors), and it was already achieved by prior work. However, the best known time complexity for proper learning a $k$-GMM was $ ilde{O}(\frac{1}{ε^{3k-1}})$. In particular, the dependence between $\frac{1}ε$ and $k$ was exponential. We significantly improve this dependence by replacing the $\frac{1}ε$ term with a $\log \frac{1}ε$ while only increasing the exponent moderately. Hence, for any fixed $k$, the $ ilde{O} (\frac{k}{ε^2})$ term dominates our running time, and thus our algorithm runs in time which is nearly-linear in the number of samples drawn. Achieving a running time of $ extrm{poly}(k, \frac{1}ε)$ for proper learning of $k$-GMMs has recently been stated as an open problem by multiple researchers, and we make progress on this question. Moreover, our approach offers an agnostic learning guarantee: our algorithm returns a good GMM even if the distribution we are sampling from is not a mixture of Gaussians. To the best of our knowledge, our algorithm is the first agnostic proper learning algorithm for GMMs.

연구 동기 및 목표

• 고정된 $k$ 에 대해 거의 최적의 샘플 및 시간 복잡도를 갖는 $k$ 개의 단변량 가우시안 혼합 모델에 대한 적절한 학습 알고리즘을 개발하는 것.
• 적절한 학습을 위한 $\text{poly}(k, 1/\epsilon)$ 시간 복잡도를 달성하는 열린 문제를 해결하는 것.
• 진짜 분포가 가우시안 혼합 모델이 아니더라도 좋은 성능을 보장하는 오차에 민감하지 않은 학습 보장을 제공하는 것.
• 지수 분포 및 라플라스 분포와 같은 다른 파rametric 단변량 분포로의 일반화를 위한 것.

제안 방법

• 알고리즘은 진짜 분포의 밀도를 잘 근사하는 비모수적 밀도 추정 단계에서 시작한다.
• 추정된 밀도에 대해 $k$-가우시안 혼합 모델을 피팅하는 문제를 결정론적 최적화 문제로 공식화한다.
• 최적화는 레네가르의 알고리즘을 사용하여 다항부등식 시스템의 연속적 풀이로 감소된다.
• 다양한 $k$-가우시안 밀도의 차이가 유한한 영점 교차수를 갖는다는 사실과, 밀도가 매개변수에 다항적 의존성을 갖는 조각별 다항식으로 근사 가능하다는 점을 활용한다.
• 작은 매개변수 변동이 밀도의 $L_1$-거리 변화에 작게 영향을 주도록 강건한 매개변수화를 보장한다.
• 영점 교차수, 매개변수화, 다항식 근사성에 대한 구조적 조건을 확인함으로써, 지수 분포 및 라플라스 분포와 같은 다른 분포로의 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 고정된 $k$ 에 대해 어떤 $k$-가우시안 혼합 모델의 적절한 학습에 대해 거의 최적의 샘플 복잡도와 거의 선형 실행 시간를 달성할 수 있는가?
• RQ2 진짜 분포가 가우시안 혼합 모델이 아니더라도 효과적인 작동을 보이는 적절한 학습 알고리즘을 설계할 수 있는가(즉, 오차에 민감하지 않은 학습 알고리즘인가)?
• RQ3 적절한 학습 보장을 유지하면서 $1/\epsilon$ 에 대한 시간 복잡도 의존성을 지수적에서 로그적 수준으로 줄일 수 있는가?
• RQ4 제안된 방법은 가우시안 외의 다른 단변량 분포의 파라미터 가족으로 일반화될 수 있는가?

주요 결과

• 알고리즘은 샘플 복잡도 $\widetilde{O}(k/\epsilon^2)$ 를 달성하며, 이는 로그 인자 외에는 최적이다.
• 실행 시간은 $(k \log \frac{1}{\epsilon})^{O(k^4)} + \widetilde{O}(k/\epsilon^2)$ 로, 이전의 $\widetilde{O}(1/\epsilon^{3k-1})$ 의 bound 에 비해 크게 향상되었다.
• 알고리즘은 오차에 민감하지 않은 학습 보장을 제공하여, 데이터가 가우시안 혼합 모델에서 유래되지 않더라도 좋은 $k$-가우시안 혼합 모델을 반환한다.
• 지수 분포 및 라플라스 분포의 혼합 모델로도 일반화되었으며, 동일한 샘플 및 시간 복잡도 bound 를 달성한다.
• 고정된 $k$ 에 대해 $k$-GMM의 적절한 학습에서 샘플 수에 대해 거의 선형 실행 시간를 달성한 최초의 프레임워크이다.
• 적절한 학습을 다항식 시스템 풀이로 감소시킴으로써, 유사한 구조적 성질을 갖는 다른 파라미터 가족의 분포 학습을 위한 일반적인 템플릿을 제공한다.