[論文レビュー] Polynomial Learning of Distribution Families

Mikhail Belkin, K. P. Sinha|arXiv (Cornell University)|Apr 27, 2010

Machine Learning and Algorithms参考文献 16被引用数 143

ひとこと要約

この論文は、成分間の分離を仮定せず、任意の固定された数の成分をもつ高次元ガウス混合モデルの多項式時間学習という長年の未解決問題を解決する。多項式族（パrameterに関して多項式のモーメントを持つ分布）を導入し、実代数幾何学の道具を用いて、このような族のパrameterが多項式時間および多項式サンプル数で学習可能であることを示す。これにより、次元削減とモーメントに基づく推定を用いてガウス混合モデルの効率的学習が可能になる。

ABSTRACT

The question of polynomial learnability of probability distributions, particularly Gaussian mixture distributions, has recently received significant attention in theoretical computer science and machine learning. However, despite major progress, the general question of polynomial learnability of Gaussian mixture distributions still remained open. The current work resolves the question of polynomial learnability for Gaussian mixtures in high dimension with an arbitrary fixed number of components. The result on learning Gaussian mixtures relies on an analysis of distributions belonging to what we call "polynomial families" in low dimension. These families are characterized by their moments being polynomial in parameters and include almost all common probability distributions as well as their mixtures and products. Using tools from real algebraic geometry, we show that parameters of any distribution belonging to such a family can be learned in polynomial time and using a polynomial number of sample points. The result on learning polynomial families is quite general and is of independent interest. To estimate parameters of a Gaussian mixture distribution in high dimensions, we provide a deterministic algorithm for dimensionality reduction. This allows us to reduce learning a high-dimensional mixture to a polynomial number of parameter estimations in low dimension. Combining this reduction with the results on polynomial families yields our result on learning arbitrary Gaussian mixtures in high dimensions.

研究の動機と目的

• 高次元におけるガウス混合モデルの多項式時間学習を、成分間の分離仮定なしに解決すること。
• パラメータに関してモーメントが多項式である分布族の一般化された学習フレームワークを構築すること。
• 多項式族に属する任意の分布のパラメータが、多項式時間および多項式サンプル数で学習可能であることを確立すること。
• 次元削減と反復的パラメータ推定を用いて、このフレームワークを高次元ガウス混合モデルに適用すること。
• この手法を、低次元分布の積やその他の構造的族への応用に拡張すること。

提案手法

• 論文は、パラメータに関して多項式関数であるモーメントを持つ分布族としての多項式族の概念を導入する。
• 実代数幾何学の道具を用いて、多項式族に属する分布のパラメータが、モーメント法を用いて同定可能であり、推定可能であることを証明する。
• 高次元混合モデルを低次元部分空間に投影するための決定的次元削減技術を開発し、ここでパラメータを効率的に推定できるようにする。
• 投影における同定可能半径を推定し、パラメータ回復に十分な情報を保持する部分空間を選択する。
• 反復的推定は、1次元ずつ部分空間を拡張しながら行い、投影を用いて欠落している平均および分散成分を推定する。
• コロナリー2.11を用いて、増大する部分空間において混合重み、投影された平均、および共分散の小行列を推定し、完全なパラメータ回復への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元におけるガウス混合モデルは、成分間の分離を仮定せずとも多項式時間で学習可能か？
• RQ2 パラメータ推定がモーメント法によって多項式時間で可能となるような一般化された分布クラスは存在するか？
• RQ3 代数幾何学の道具を用いて、多項式モーメントを持つパrameter族の同定可能性と効率的推定を確立できるか？
• RQ4 高次元パラメータ推定を、誤差が有界な低次元推定の系列に還元することは可能か？
• RQ5 このフレームワークは、ガウス混合モデルを超えて、分布の積やその他の構造的族への応用に拡張可能か？

主な発見

• 論文は、多くの一般的な分布およびその混合を含む多項式族に属する任意の分布が、多項式時間および多項式サンプル数で学習可能であることを確立する。
• 成分が同じ平均だが異なる分散を持つ場合ですら、成分間の分離を仮定せずとも、高次元ガウス混合モデルの多項式的学習が達成される。
• アルゴリズムは、同定可能半径を1/nの要因で保つ決定的次元削減ステップを用いており、安定なパラメータ回復を可能にする。
• 必要とされるサンプル数と実行時間は、次元nと成分数kに関して多項式的であり、分離パラメータに依存しない。
• このフレームワークは、d次元ガウス混合のk成分混合からなるn次元混合など、分布の積の学習にも適用可能である。
• 結果は独立に興味深いものであり、代数幾何学を統計的学習やモーメントに基づく推論に応用する新たな道を開く。