[논문 리뷰] The More, the Merrier: the Blessing of Dimensionality for Learning Large Gaussian Mixtures

Joseph Anderson, Mikhail Belkin외 3명|arXiv (Cornell University)|2013. 11. 12.

Blind Source Separation Techniques참고 문헌 17인용 수 29

한 줄 요약

이 논문은 차원 $ n $ 에 대해 다항수의 성분을 가진 큰 가우시안 혼합 모델이 평균에 비퇴화 조건이 만족될 경우 고차원에서 효율적으로 학습 가능하다는 것을 보여준다. 저자들은 문제를 텐서 기반 독립 성분 분석(ICA)으로 줄이기 위해 새로운 포isson화 기법을 사용하여, 이러한 혼합 모델이 다항 시간 및 샘플 복잡도로 학습 가능하다는 것을 입증하며, 차원의 '행운의 효과(blessing of dimensionality)' 를 규명한다.

ABSTRACT

In this paper we show that very large mixtures of Gaussians are efficiently learnable in high dimension. More precisely, we prove that a mixture with known identical covariance matrices whose number of components is a polynomial of any fixed degree in the dimension n is polynomially learnable as long as a certain non-degeneracy condition on the means is satisfied. It turns out that this condition is generic in the sense of smoothed complexity, as soon as the dimensionality of the space is high enough. Moreover, we prove that no such condition can possibly exist in low dimension and the problem of learning the parameters is generically hard. In contrast, much of the existing work on Gaussian Mixtures relies on low-dimensional projections and thus hits an artificial barrier. Our main result on mixture recovery relies on a new "Poissonization"-based technique, which transforms a mixture of Gaussians to a linear map of a product distribution. The problem of learning this map can be efficiently solved using some recent results on tensor decompositions and Independent Component Analysis (ICA), thus giving an algorithm for recovering the mixture. In addition, we combine our low-dimensional hardness results for Gaussian mixtures with Poissonization to show how to embed difficult instances of low-dimensional Gaussian mixtures into the ICA setting, thus establishing exponential information-theoretic lower bounds for underdetermined ICA in low dimension. To the best of our knowledge, this is the first such result in the literature. In addition to contributing to the problem of Gaussian mixture learning, we believe that this work is among the first steps toward better understanding the rare phenomenon of the "blessing of dimensionality" in the computational aspects of statistical inference.

연구 동기 및 목표

• 차원에 대해 다항수 성분을 가진 큰 가우시안 혼합 모델이 고차원 공간에서 효율적으로 학습 가능한지 조사하기.
• 저차원에서 가우시안 혼합 모델 학습의 계산적 난이도가 고차원에서도 유지되는지 여부를 규명하기.
• 고차원 가우시안 혼합 모델 학습 문제를 포isson화를 통해 텐서 분해 문제로 변환하는 새로운 방법을 개발하기.
• 매개변수의 비퇴화 조건이 스무스드 복잡도 하에 고차원에서 일반적임을 입증하여 효율적 학습 가능성을 확보하기.
• 어려운 가우시안 혼합 사례를 임bedding하여 저차원에서의 과소정의된 ICA에 대해 지수적 정보이론적 하한을 유도하기.

제안 방법

• 포isson화: 샘플 수가 포isson 분포를 따르는 방식으로 성분을 혼합하여 가우시안 혼합 모델을 선형 ICA 모델로 변환하기.
• 고차수의 촐루멘트 텐서의 텐서 구조를 활용하여 다중선형 대수를 통해 혼합 행렬과 성분 가중치를 복구하기.
• 포isson 분포 성분이 고차수 촐루멘트가 0이 아니므로, 텐서 분해를 통해 분리가 가능하다는 사실을 활용하기.
• 최근의 다항시간 텐서 분해 및 ICA 결과를 적용하여 변환된 모델에서 원래 혼합 모델의 매개변수를 복구하기.
• $ \boldsymbol{A}^{\bigodot \tau} $ 텐서의 모라-펜로즈 가역행렬을 사용하여 촐루멘트 텐서에서 성분 가중치를 복구하기.
• 스무스드 복잡도 분석을 통해 매개변수의 비퇴화 조건이 고차원에서 일반적임을 입증하여, 높은 확률로 학습 가능함을 보여주기.

실험 결과

연구 질문

• RQ1 차원에 대해 다항수 성분을 가진 가우시안 혼합 모델이 고차원에서 효율적으로 학습 가능한가?
• RQ2 저차원에서의 가우시안 혼합 모델 학습 난이도가 고차원에서 기하학적 또는 대수적 구조 덕분에 완화되는가?
• RQ3 포isson화 기법을 사용하여 가우시안 혼합 모델 학습 문제를 증명 가능성이 있는 텐서 기반 ICA 문제로 줄일 수 있는가?
• RQ4 스무스드 복잡도 하에 고차원 공간에서 가우시안 성분의 평균에 대한 비퇴화 조건이 일반적인가?
• RQ5 저차원에서의 어려운 가우시안 혼합 사례를 ICA 프레임워크에 임베딩하여 정보이론적 하한을 유도할 수 있는가?

주요 결과

• 같은 공분산 행렬을 가진 $ m $ 개의 가우시안 혼합 모델은 $ m = O(n^d) $ 이고, 평균에 비퇴화 조건이 만족될 경우, 차원 $ n $ 에서 다항 시간으로 학습 가능하다.
• 차원 $ n $ 이 충분히 높을 경우, 스무스드 복잡도 하에서 평균에 대한 비퇴화 조건은 일반적이다. 이는 대부분의 경우 학습 가능하다는 것을 의미한다.
• 저차원에서는 그러한 비퇴화 조건이 존재할 수 없으며, 이는 저차원 설정에서 학습이 일반적으로 어렵다는 것을 증명한다.
• 포isson화 기반의 환원은 가우시안 혼합 모델 학습 문제를 텐서 ICA 문제로 변환하여, 촐루멘트 기반 방법을 통해 효율적 복구를 가능하게 한다.
• 이 방법은 어려운 저차원 가우시안 혼합 사례를 임베딩하여 과소정의된 ICA에 대해 지수적 정보이론적 하한을 확립한다.
• 이 논문은 높은 차원에서 큰 가우시안 혼합 모델 학습의 '차원의 행운' 현상에 대해 처음으로 엄밀한 증거를 제공하며, 더 높은 차원에서 학습이 단순화될 수 있음을 보여준다.