[논문 리뷰] Learning Gaussian Mixtures with Arbitrary Separation

Mikhail Belkin, K. P. Sinha|arXiv (Cornell University)|2009. 07. 06.

Bayesian Methods and Mixture Models참고 문헌 15인용 수 14

한 줄 요약

이 논문은 성분 평균 간의 간격이 임의로 작은 경우에도 $n$차원 공간에서 $k$개의 동일한 구형 정규분포로 이루어진 혼합모형의 파라미터 학습을 다항시간에 수행할 수 있는 최초의 알고리즘을 제시한다. 데이터를 $k$차원으로 투영하고 1차원으로 축소함으로써, 푸리에 분석과 바르데모네 행렬의 소행렬식을 이용한 혼합밀도의 $L^2$ 노름 한계를 통해 고정된 $k$에 대해 차원과 역간격에 다항시간으로 파라미터 복원을 달성한다. 이는 정규분포 혼합학습 분야에서 핵심적인 열린 문제를 해결한다.

ABSTRACT

In this paper we present a method for learning the parameters of a mixture of $k$ identical spherical Gaussians in $n$-dimensional space with an arbitrarily small separation between the components. Our algorithm is polynomial in all parameters other than $k$. The algorithm is based on an appropriate grid search over the space of parameters. The theoretical analysis of the algorithm hinges on a reduction of the problem to 1 dimension and showing that two 1-dimensional mixtures whose densities are close in the $L^2$ norm must have similar means and mixing coefficients. To produce such a lower bound for the $L^2$ norm in terms of the distances between the corresponding means, we analyze the behavior of the Fourier transform of a mixture of Gaussians in 1 dimension around the origin, which turns out to be closely related to the properties of the Vandermonde matrix obtained from the component means. Analysis of this matrix together with basic function approximation results allows us to provide a lower bound for the norm of the mixture in the Fourier domain. In recent years much research has been aimed at understanding the computational aspects of learning parameters of Gaussians mixture distributions in high dimension. To the best of our knowledge all existing work on learning parameters of Gaussian mixtures assumes minimum separation between components of the mixture which is an increasing function of either the dimension of the space $n$ or the number of components $k$. In our paper we prove the first result showing that parameters of a $n$-dimensional Gaussian mixture model with arbitrarily small component separation can be learned in time polynomial in $n$.

연구 동기 및 목표

• 성분 평균 간의 간격이 임의로 작을 경우에도 정규분포 혼합모형을 학습할 수 있는 장기적인 열린 문제를 해결하기 위해.
• 최소 간격이 있는 고차원에서 $k$개의 동일한 구형 정규분포의 파라미터 추정을 위한 다항시간 알고리즘을 개발하기 위해.
• 푸리에 분석과 바르데모네 행렬 행렬식을 이용해 평균 간격에 대한 혼합밀도 간의 $L^2$ 거리 이론적 한계를 설정하기 위해.
• 성분 간의 가까운 충돌 상황에서도 혼합계수와 분산을 추정하기 위한 프레임워크를 제공하기 위해.
• 이러한 설정에서 $k$에 대해 초지수적 의존성이 피할 수 없음을 입증하면서도, 고정된 $k$에 대해서는 다항시간을 달성하기 위해.

제안 방법

• 문제를 저차원 파라미터 추정 문제로 축소하기 위해 $n$차원 데이터를 $k$차원으로 투영하기 위해.
• 특정 방향에 沿해 투영을 분석함으로써 다차원 문제를 1차원 혼합학습 문제로 축소하기 위해.
• 1차원 정규분포 혼합모형의 푸리에 분석을 통해 두 혼합모형 간의 차이에 대한 $L^2$ 노름의 하한을 평균 간격에 따라 유도하기 위해.
• 성분 평균에서 형성된 바르데모네 행렬의 소행렬식을 분석하여 원점 근처에서의 푸리에 변환 행동과의 관계를 규명하기 위해.
• 혼합밀도 간의 작은 $L^2$ 거리가 평균과 혼합계수의 차이를 작게 만든다는 것을 입증하기 위해.
• 집중부등식과 moments의 bound를 사용하여 특성함수의 다항계수를 추정함으로써 강인한 파라미터 복원을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 성분 평균 간의 간격이 임의로 작을 경우에도 정규분포 혼합모형을 다항시간에 학습할 수 있는가?
• RQ2 두 1차원 정규분포 혼합밀도 간의 $L^2$ 거리와 그 성분 평균 간격 사이의 관계는 무엇인가?
• RQ3 1차원 정규분포 혼합모형의 푸리에 변환을 어떻게 활용하여 평균 차이에 따라 $L^2$ 노름의 하한을 도출할 수 있는가?
• RQ4 바르데모네 행렬의 소행렬식은 정규분포 혼합모형의 구별 가능성 특성화에 어떤 역할을 하는가?
• RQ5 동일한 구형 정규분포의 분산을 동일한 프레임워크를 사용해 추정할 수 있는가?

주요 결과

• 알고리즘은 성분 평균 간의 간격이 임의로 작을 경우에도 고정된 $k$에 대해 $n$, $1/ ext{sep}$ 및 기타 입력 매개변수에 다항시간으로 $k$개의 동일한 구형 정규분포 혼합모형의 파라미터를 학습한다.
• 두 1차원 혼합모형 간의 $L^2$ 거리는 그 평균 간격의 함수로 하한이 존재하며, 이는 파라미터 복원을 가능하게 한다.
• 원점 근처에서 1차원 정규분포 혼합모형의 푸리에 변환은 평균에서 형성된 바르데모네 행렬의 행렬식과 관련이 있음이 입증되었다.
• 바르데모네 행렬의 소행렬식은 두 혼합모형 간의 차이에 대한 $L^2$ 노름의 하한을 제공하며, 이는 성분 간의 구별 가능성에 대한 하한으로 번역된다.
• 그리드 검색과 집중도 한계를 사용하여 혼합계수와 분산을 높은 확률로 추정할 수 있으나, 이 절차는 $k$에 대해 초지수적이다.
• 분석 결과, 비영인 간격이 필요하지만, 알고리즘은 0보다 큰 임의의 간격에서도 작동함을 입증하였으며, 이는 이 영역에서 최초의 결과이다.