[論文レビュー] Learning Gaussian Mixtures with Arbitrary Separation

Mikhail Belkin, K. P. Sinha|arXiv (Cornell University)|Jul 6, 2009

Bayesian Methods and Mixture Models参考文献 15被引用数 14

ひとこと要約

本稿では、$k$ 個の同一の球状ガウス分布からなる混合分布のパラメータを、成分の平均が任意に小さい間隔で分離されている場合でも多項式時間で学習する最初のアルゴリズムを提示する。次元 $n$ と成分間隔の逆数の多項式時間で、固定された $k$ に対してパラメータ回復を達成するために、データを $k$ 次元に射影し、1次元に還元する。この手法は、フーリエ解析とバテルマン行列の小行列を用いて混合密度関数の $L^2$ ノルムの境界を導出し、固定された $k$ に対して次元と逆間隔の多項式時間でパラメータ回復を実現する。これはガウス混合学習分野における重要な未解決問題を解決する。

ABSTRACT

In this paper we present a method for learning the parameters of a mixture of $k$ identical spherical Gaussians in $n$-dimensional space with an arbitrarily small separation between the components. Our algorithm is polynomial in all parameters other than $k$. The algorithm is based on an appropriate grid search over the space of parameters. The theoretical analysis of the algorithm hinges on a reduction of the problem to 1 dimension and showing that two 1-dimensional mixtures whose densities are close in the $L^2$ norm must have similar means and mixing coefficients. To produce such a lower bound for the $L^2$ norm in terms of the distances between the corresponding means, we analyze the behavior of the Fourier transform of a mixture of Gaussians in 1 dimension around the origin, which turns out to be closely related to the properties of the Vandermonde matrix obtained from the component means. Analysis of this matrix together with basic function approximation results allows us to provide a lower bound for the norm of the mixture in the Fourier domain. In recent years much research has been aimed at understanding the computational aspects of learning parameters of Gaussians mixture distributions in high dimension. To the best of our knowledge all existing work on learning parameters of Gaussian mixtures assumes minimum separation between components of the mixture which is an increasing function of either the dimension of the space $n$ or the number of components $k$. In our paper we prove the first result showing that parameters of a $n$-dimensional Gaussian mixture model with arbitrarily small component separation can be learned in time polynomial in $n$.

研究の動機と目的

• 成分の平均が任意に近い場合のガウス混合モデル学習という長年の未解決問題に取り組む。
• 高次元空間における $k$ 個の同一の球状ガウス分布のパrameter推定のための多項式時間アルゴリズムを開発する。
• フーリエ解析とバテルマン行列の行列式を用いて、混合密度関数の $L^2$ 距離と平均間隔の関係を理論的に境界づける。
• 成分がほぼ重なった状況下でも混合係数と分散の推定に役立つフレームワークを提供する。
• このような設定では $k$ に対して超指数的依存が避けられないが、固定された $k$ に対しては多項式時間で実現可能であることを示す。

提案手法

• 元の $n$ 次元データを $k$ 次元に射影し、問題を低次元のパrameter推定問題に還元する。
• 特定の方向への射影を分析することで、多次元問題を1次元混合分布学習問題に還元する。
• 1次元ガウス混合分布のフーリエ解析を用いて、2つの混合分布の差の $L^2$ ノルムの下界を平均間隔の関数として導出する。
• 成分の平均から構成されるバテルマン行列の小行列を分析し、原点付近におけるフーリエ変換の振る舞いと関連付ける。
• 混合密度関数の $L^2$ 距離が小さいことは、平均と混合係数の差が小さいことを示唆する。
• 濃度不等式とモーメントの境界を用いて、特性関数の多項式係数を推定し、頑健なパラメータ回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 成分の平均間隔が任意に小さい場合でも、ガウス混合モデルを多項式時間で学習できるか？
• RQ2 2つの1次元ガウス混合密度関数の $L^2$ 距離とそれらの成分平均の間隔の関係は何か？
• RQ3 1次元ガウス混合分布のフーリエ変換を用いて、平均差の関数として $L^2$ ノルムの下界をどのように導出できるか？
• RQ4 バテルマン行列の小行列は、ガウス混合分布の識別可能性を特徴付ける上で果たす役割は何か？
• RQ5 同一の球状ガウス分布の分散を、同じフレームワークを用いて推定することは可能か？

主な発見

• アルゴリズムは、$k$ を固定した場合、$n$、$1/ ext{sep}$ およびその他の入力パラメータの多項式時間で、成分の平均が任意に近い場合でも $k$ 個の同一の球状ガウス分布の混合モデルのパラメータを学習可能である。
• 2つの1次元混合分布の $L^2$ 距離は、それらの平均間隔の関数によって下界づけられており、パラメータ回復が可能である。
• 1次元ガウス混合分布のフーリエ変換は、平均から構成されるバテルマン行列の行列式と関連づけられることが示された。
• バテルマン行列の小行列は、2つの混合分布の差の $L^2$ ノルムの下界を提供し、成分の識別可能性の下界に直結する。
• グリッドサーチと濃度境界を用いることで、混合係数と分散の推定が高確率で達成可能であるが、この手続きは $k$ に対して超指数的である。
• 解析により、非ゼロの間隔は必要であるが、正の任意の間隔に対してアルゴリズムが有効であることが示され、この分野で初めての結果である。