[논문 리뷰] Polynomial Learning of Distribution Families

Mikhail Belkin, K. P. Sinha|arXiv (Cornell University)|2010. 04. 27.

Machine Learning and Algorithms참고 문헌 16인용 수 143

한 줄 요약

이 논문은 고차원 가우시안 믹스처 모델의 다항 시간 학습이라는 오랫동안 열려 있던 문제를 해결한다. 구성 요소 간의 분리 조건이 없이도 가능하며, 다항식 모멘트를 갖는 분포인 다항식 가족을 도입하고, 실대수기하학 도구를 사용하여 이러한 가족의 모수를 다항 시간 및 표본 복잡도로 학습할 수 있음을 보여준다. 이를 통해 차원 축소와 모멘트 기반 추정을 통해 가우시안 믹스처 모델의 효율적 학습이 가능해진다.

ABSTRACT

The question of polynomial learnability of probability distributions, particularly Gaussian mixture distributions, has recently received significant attention in theoretical computer science and machine learning. However, despite major progress, the general question of polynomial learnability of Gaussian mixture distributions still remained open. The current work resolves the question of polynomial learnability for Gaussian mixtures in high dimension with an arbitrary fixed number of components. The result on learning Gaussian mixtures relies on an analysis of distributions belonging to what we call "polynomial families" in low dimension. These families are characterized by their moments being polynomial in parameters and include almost all common probability distributions as well as their mixtures and products. Using tools from real algebraic geometry, we show that parameters of any distribution belonging to such a family can be learned in polynomial time and using a polynomial number of sample points. The result on learning polynomial families is quite general and is of independent interest. To estimate parameters of a Gaussian mixture distribution in high dimensions, we provide a deterministic algorithm for dimensionality reduction. This allows us to reduce learning a high-dimensional mixture to a polynomial number of parameter estimations in low dimension. Combining this reduction with the results on polynomial families yields our result on learning arbitrary Gaussian mixtures in high dimensions.

연구 동기 및 목표

• 고차원에서 구성 요소 간 분리 조건 없이 가우시안 믹스처 모델의 다항 시간 학습 문제를 해결하는 것.
• 모멘트가 모수에 대해 다항식인 분포의 일반적 프레임워크를 개발하는 것.
• 다항식 가족에 속하는 어떤 분포의 모수도 다항 시간 및 표본 복잡도로 학습될 수 있음을 입증하는 것.
• 이 프레임워크를 결정성 차원 축소와 반복적 모수 추정을 통해 고차원 가우시안 믹스처 모델에 적용하는 것.
• 이 방법을 저차원 분포의 곱이나 기타 구조적 가족으로 확장하는 것.

제안 방법

• 논문은 모수가 다항식 함수로 표현되는 모멘트를 갖는 분포인 다항식 가족의 개념을 도입한다.
• 실대수기하학 도구를 사용하여 이러한 가족에 속한 분포의 모수 식별 및 모멘트 방법을 통한 추정이 가능하다는 것을 증명한다.
• 고차원 믹스처를 저차원 부분공간으로 투영하여 모수를 효율적으로 추정할 수 있도록 하는 결정성 차원 축소 기법을 개발한다.
• 투영된 공간에서 식별 가능성 반경을 추정하고, 모수 복원에 필요한 충분한 정보를 유지하는 부분공간을 선택한다.
• 모수 추정을 반복적으로 수행하며, 한 번에 한 좌표씩 부분공간을 확장하고, 투영을 통해 누락된 평균 및 공분산 성분을 추정한다.
• 코로나리움 2.11을 적용하여 증가하는 부분공간에서 혼합 비율, 투영된 평균, 공분산 부분행렬을 추정함으로써 전체 모수 복원으로 수렴한다.

실험 결과

연구 질문

• RQ1 고차원에서 구성 요소 간 분리 조건 없이 가우시안 믹스처 모델을 다항 시간 내에 학습할 수 있는가?
• RQ2 모멘트 방법을 통한 모수 추정이 다항 시간으로 가능할 수 있는 일반적인 분포 클래스는 무엇인가?
• RQ3 대수기하학 도구를 사용하여 다항식 모멘트를 갖는 파rametric 가족의 식별성과 효율적 추정을 확립할 수 있는가?
• RQ4 고차원 모수 추정을 상한 오차를 갖는 저차원 추정의 연속으로 줄일 수 있는가?
• RQ5 이 프레임워크는 가우시안 믹스처를 초월해 분포의 곱이나 기타 구조적 가족을 학습하는 데 확장 가능한가?

주요 결과

• 논문은 대부분의 일반 분포와 그 믹스처를 포함하는 다항식 가족에 속하는 어떤 분포라도 다항 시간 및 다항 수의 표본으로 학습될 수 있음을 입증한다.
• 모수 간 분리 조건 없이 고차원에서 가우시안 믹스처 모델의 다항 학습 가능성이 확립되며, 동일한 평균을 갖는 구성 요소가 서로 다른 공분산을 가질 경우에도 적용 가능하다.
• 알고리즘은 식별 가능성 반경을 1/n 요소 이내로 유지하는 결정성 차원 축소 단계를 사용하여 안정적인 모수 복원이 가능하다.
• 필요한 표본 수와 런타임은 차원 n과 구성 요소 수 k에 대해 다항식이며, 분리 파라미터에 대한 의존성이 없다.
• 이 프레임워크는 n차원 믹스처 모델, 즉 d차원 가우시안 믹스처의 k개 구성 요소로 이루어진 모델 등 분포의 곱을 학습하는 데도 적용 가능하다.
• 결과는 독립적으로도 관심을 끌며, 대수기하학을 통계적 학습과 모멘트 기반 추론에 적용하는 데 새로운 길을 열어 놓는다.