[논문 리뷰] Learning Mixtures of Gaussians in High Dimensions

Rong Ge, Qingqing Huang외 1명|arXiv (Cornell University)|2015. 03. 02.

Tensor decomposition and applications참고 문헌 23인용 수 19

한 줄 요약

이 논문은 매개변수들이 작은 랜덤 편향(ρ)으로 흩어진 경우, 고차원(n ≥ Ω(k²))에서 혼합 정규분포를 다항시간 알고리즘으로 학습하는 방법을 제시한다. 고차원 모멘트 텐서의 대칭성에 기반한 이서리스의 정리와 구조적 랜덤 행렬의 특이값을 제어하기 위한 새로운 도구를 활용함으로써, 다항 시간 및 표본 복잡도를 갖는 효율적 학습이 가능해지며, 악성 경우의 지수적 복잡도 장벽을 극복한다.

ABSTRACT

Efficiently learning mixture of Gaussians is a fundamental problem in statistics and learning theory. Given samples coming from a random one out of k Gaussian distributions in Rn, the learning problem asks to estimate the means and the covariance matrices of these Gaussians. This learning problem arises in many areas ranging from the natural sciences to the social sciences, and has also found many machine learning applications. Unfortunately, learning mixture of Gaussians is an information theoretically hard problem: in order to learn the parameters up to a reasonable accuracy, the number of samples required is exponential in the number of Gaussian components in the worst case. In this work, we show that provided we are in high enough dimensions, the class of Gaussian mixtures is learnable in its most general form under a smoothed analysis framework, where the parameters are randomly perturbed from an adversarial starting point. In particular, given samples from a mixture of Gaussians with randomly perturbed parameters, when n > Ω(k^2), we give an algorithm that learns the parameters with polynomial running time and using polynomial number of samples. The central algorithmic ideas consist of new ways to decompose the moment tensor of the Gaussian mixture by exploiting its structural properties. The symmetries of this tensor are derived from the combinatorial structure of higher order moments of Gaussian distributions (sometimes referred to as Isserlis' theorem or Wick's theorem). We also develop new tools for bounding smallest singular values of structured random matrices, which could be useful in other smoothed analysis settings.

연구 동기 및 목표

• 최악의 경우 설정에서 고차원에서 혼합 정규분포 학습의 계산적 난이도를 해결하기 위해.
• 차원 n이 충분히 크면서(즉, n ≥ Ω(k²)) 스무딩 분석이 일반 정규분포 혼합물의 효율적 학습을 가능하게 함을 보여주기 위해.
• 이서리스의 정리에서 유도된 구조적 대칭성을 활용하는 고차원 모멘트 텐서 기반의 방법을 개발하기 위해.
• 매개변수의 랜덤 편향 하에서 일반 정규분포 혼합물의 다항 시간 및 표본 복잡도를 확립하기 위해.
• 이 문제를 넘어서도 적용 가능한, 구조적 랜덤 행렬의 최소 특이값을 제어하기 위한 새로운 도구를 제공하기 위해.

제안 방법

• 표본에서 O(k)-차수의 모멘트를 추정하여 기저의 정규분포 성분을 재구성하는 모멘트 방법을 사용한다.
• 고차원 모멘트의 조합적 구조(위크의 정리/이서리스의 정리)에서 유도된 텐서의 본질적 대칭성을 활용하여 모멘트 텐서를 분해한다.
• 스무딩 분석을 적용한다: 매개변수는 적대적으로 선택된 후 작은 ρ로 랜덤하게 편향되며, 열악한 경우는 드물게 발생한다.
• 구조적 랜덤 텐서의 꼬리 확률을 제어하기 위해 분리된 및 결합된 가우시안 카오스 부등식을 활용한다.
• 텐서 분해의 안정성과 강건성을 보장하기 위해 구조적 랜덤 행렬에 대한 새로운 특이값 한계를 도입한다.
• 모멘트 텐서 성분의 크기를 랜덤 편향 하에서 제어하기 위해 프로베니우스 노름과 분할 기반 노름을 활용한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 혼합 정규분포 모델을 다항 시간 및 다항 표본 수로 학습할 수 있는가?
• RQ2 스무딩 분석이 일반 공분산 행렬을 갖는 혼합 정규분포 학습에서 최악의 경우 난이도를 제거하는가?
• RQ3 고차원 모멘트 텐서는 대칭 기반 방법을 통해 효과적으로 분해되어 매개변수 복원이 가능한가?
• RQ4 스무딩 분석 하에서 효율적 학습을 보장하기 위해 필요한 최소 차원 n은 얼마인가?
• RQ5 구조적 랜덤 행렬에 대한 새로운 농도 부등식은 모멘트 기반 학습 알고리즘의 분석을 향상시킬 수 있는가?

주요 결과

• n ≥ Ω(k²) 조건 하에서, k개 성분을 갖는 일반 정규분포 혼합물은 다항 시간 및 다항 표본 복잡도로 학습 가능하다.
• 이 방법은 이서리스의 정리를 통한 고차원 모멘트의 대칭적이고 조합적 구조를 활용함으로써 이를 달성한다.
• 대각선 항을 포함한 가우시안 카오스에 대한 새로운 농도 부등식이 모멘트 텐서 추정의 강건성을 보장한다.
• 구조적 랜덤 행렬의 최소 특이값은 높은 확률로 유한하게 제한되며, 이는 안정적인 텐서 분해를 가능하게 한다.
• 스무딩 분석 프레임워크는 작은 랜덤 편향 후 매개변수 공간에서 열악한 경우가 고립되어 드물게 발생하므로, 나쁜 인스턴스가 드물게 발생함을 보장한다.
• 모이트라와 발리언트(2010)가 최악의 경우에 지수적 표본 복잡도 하한을 보인 바가 있으나, 매개변수의 편향을 가정함으로써 이 장벽을 극복한다.