[論文レビュー] Settling the Polynomial Learnability of Mixtures of Gaussians

Ankur Moitra, Gregory Valiant|arXiv (Cornell University)|Apr 23, 2010

Bayesian Methods and Mixture Models参考文献 23被引用数 54

ひとこと要約

本稿では、最小限の仮定の下で、混合多変量正規分布を学習するための最初の多項式時間アルゴリズムを提示する。高次元への射影における課題を克服するため、階層的クラスタリング、スケーリングの再調整、および頑健な単変量モーメント推定を用いる。主な貢献は、次元および逆精度の多項式時間・標本複雑性を有する、証明可能に効率的なアルゴリズムの開発であり、成分数に対する指数的依存は必要かつ最適であることが示された。

ABSTRACT

Given data drawn from a mixture of multivariate Gaussians, a basic problem is to accurately estimate the mixture parameters. We give an algorithm for this problem that has a running time, and data requirement polynomial in the dimension and the inverse of the desired accuracy, with provably minimal assumptions on the Gaussians. As simple consequences of our learning algorithm, we can perform near-optimal clustering of the sample points and density estimation for mixtures of k Gaussians, efficiently. The building blocks of our algorithm are based on the work Kalai et al. [STOC 2010] that gives an efficient algorithm for learning mixtures of two Gaussians by considering a series of projections down to one dimension, and applying the method of moments to each univariate projection. A major technical hurdle in Kalai et al. is showing that one can efficiently learn univariate mixtures of two Gaussians. In contrast, because pathological scenarios can arise when considering univariate projections of mixtures of more than two Gaussians, the bulk of the work in this paper concerns how to leverage an algorithm for learning univariate mixtures (of many Gaussians) to yield an efficient algorithm for learning in high dimensions. Our algorithm employs hierarchical clustering and rescaling, together with delicate methods for backtracking and recovering from failures that can occur in our univariate algorithm. Finally, while the running time and data requirements of our algorithm depend exponentially on the number of Gaussians in the mixture, we prove that such a dependence is necessary.

研究の動機と目的

• 混合正規分布の学習が多項式時間で行えるかどうかという長年の未解決問題を解消すること。
• 具体的には、混合重みが有界で、成分間の非退化された分離が保証されるという最小限の仮定の下で動作するアルゴリズムを設計すること。
• 病理的とされる射影挙動に起因する問題を克服しつつ、単変量混合分布学習手法を高次元設定に拡張すること。
• 実行時間および標本複雑性における成分数への指数的依存が避けられないこと、すなわち必要かつ最適であることを確立すること。
• 一般のガウス混合モデルに対して、効率的かつ証明可能に正しいクラスタリングと密度推定を実現すること。

提案手法

• 高次元空間における成分の特定とデータの再帰的分割を実現するため、階層的クラスタリング手法を活用する。
• 高次元問題を単変量混合分布学習問題に還元するため、スケーリングと射影技術を用いる。
• 適切に選択された一次元射影に対してモーメント法を適用し、単変量混合分布のパラメータを推定する。
• 単変量ソルバーからの不安定または誤った推定を処理するため、バックトラッキングおよび障害回復メカニズムを組み込む。
• 誤差伝播を射影および次元全体にわたって制御するため、頑健なモーメント推定と尾部バウンドを適用する。
• 複数の射影からの結果を幾何学的および統計的整合性チェックを用いて統合し、全成分パラメータを再構築する。

実験結果

リサーチクエスチョン

• RQ1 最小限の仮定の下で、多変量正規分布の混合を多項式時間で学習できるか？
• RQ2 ガウス混合分布の効率的学習に必要なおよび十分な条件は何か？
• RQ3 射影に起因する退化現象が生じる高次元設定において、単変量混合分布学習アルゴリズムをどのように拡張できるか？
• RQ4 実行時間および標本複雑性における成分数への指数的依存は避けられないのか？
• RQ5 一般のガウス混合モデルに対して、効率的かつ証明可能に正しいクラスタリングと密度推定を達成できるか？

主な発見

• 提案されたアルゴリズムは、次元および所望の精度の逆数に関して多項式時間かつ多項式標本数で実行可能である。
• 混合重みおよび成分間の統計的距離がゼロから離れているという最小限の仮定のもとで、逆多項式誤差率でのパラメータ推定が達成される。
• 実行時間および標本複雑性における成分数への指数的依存が、必要かつ最適であることが証明され、長年の未解決問題が解決された。
• 本アルゴリズムにより、一般のガウス混合モデルにおける近似的最適なクラスタリングと密度推定に対する、初めての証明可能に効率的な解法が実現された。
• 階層的クラスタリング、スケーリング、および頑健な誤差回復メカニズムを用いることで、病理的とされる単変量射影に対しても効果的に対処できた。
• モーメント差の理論的バウンドおよび尾部挙動の解析により、推定誤差が射影および次元全体にわたって制御可能であることが保証された。