[論文レビュー] The More, the Merrier: the Blessing of Dimensionality for Learning Large Gaussian Mixtures

Joseph Anderson, Mikhail Belkin+3 more|arXiv (Cornell University)|Nov 12, 2013

Blind Source Separation Techniques参考文献 17被引用数 29

ひとこと要約

本稿では、次元 $ n $ における多項式個の成分をもつ大規模なガウス・ミックスチャネル・モデルが、平均に非退化性条件が満たされれば、高次元においては効率的に学習可能であることを示している。著者らは、問題をテンソルに基づく独立成分分析（ICA）に還元するための新規なポアソン化技術を用い、このようなミックスチャネルが多項式時間および多項式サンプル複雑性で学習可能であることを示しており、次元の増加に伴う利点（「次元の賛美」）の効果を確立している。

ABSTRACT

In this paper we show that very large mixtures of Gaussians are efficiently learnable in high dimension. More precisely, we prove that a mixture with known identical covariance matrices whose number of components is a polynomial of any fixed degree in the dimension n is polynomially learnable as long as a certain non-degeneracy condition on the means is satisfied. It turns out that this condition is generic in the sense of smoothed complexity, as soon as the dimensionality of the space is high enough. Moreover, we prove that no such condition can possibly exist in low dimension and the problem of learning the parameters is generically hard. In contrast, much of the existing work on Gaussian Mixtures relies on low-dimensional projections and thus hits an artificial barrier. Our main result on mixture recovery relies on a new "Poissonization"-based technique, which transforms a mixture of Gaussians to a linear map of a product distribution. The problem of learning this map can be efficiently solved using some recent results on tensor decompositions and Independent Component Analysis (ICA), thus giving an algorithm for recovering the mixture. In addition, we combine our low-dimensional hardness results for Gaussian mixtures with Poissonization to show how to embed difficult instances of low-dimensional Gaussian mixtures into the ICA setting, thus establishing exponential information-theoretic lower bounds for underdetermined ICA in low dimension. To the best of our knowledge, this is the first such result in the literature. In addition to contributing to the problem of Gaussian mixture learning, we believe that this work is among the first steps toward better understanding the rare phenomenon of the "blessing of dimensionality" in the computational aspects of statistical inference.

研究の動機と目的

• 次元の増加に伴い、成分数が多項式的に増加する大規模なガウス混合モデルが、高次元空間においても効率的に学習可能かどうかを調査すること。
• 低次元におけるガウス混合モデルの学習の計算的困難さが、高次元においても継続するかどうかを特定すること。
• 高次元におけるガウス混合モデルの学習を、ポアソン化を介してテンソル分解問題に変換する新しい手法を開発すること。
• 滑らかさ複雑度の下で、平均に対する非退化性条件が高次元において一般に成立することを確立し、その結果として効率的な学習が可能になること。
• 困難なガウス混合インスタンスを埋め込むことにより、低次元における未定義ICAに対する指数的情報理論的下界を導出すること。

提案手法

• ポアソン化：成分をポアソン分布に従うサンプル数で混合することで、ガウス混合モデルを線形ICAモデルに変換する。
• 高次モーメントのテンソル構造を活用し、多次元代数を用いて混合行列と成分重みを回復する。
• ポアソン分布に従う成分が非ゼロの高次モーメントをもつことを利用し、テンソル分解によって分離可能であることを示す。
• 最近の多項式時間におけるテンソル分解およびICAの結果を応用し、変換後のモデルから元の混合モデルのパラメータを回復する。
• 累積モーメントテンソルから成分重みを回復するために、$ oldsymbol{A}^{igodot au} $ テンソルのムーア・ペンローズ一般逆行列を用いる。
• 滑らかさ複雑度解析を用いて、高次元において平均の非退化性条件が一般に成立することを示し、高い確率で学習が可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 次元 $ n $ に対して多項式的に増加する成分数をもつガウス混合モデルが、高次元においても効率的に学習可能かどうか。
• RQ2 低次元におけるガウス混合モデルの学習の計算的困難さが、高次元において幾何的・代数的構造のおかげで克服されるかどうか。
• RQ3 ポアソン化技術を用いて、保証付きのガウス混合モデルの学習をテンソルベースのICA問題に還元できるか。
• RQ4 滑らかさ複雑度の下で、高次元空間におけるガウス成分の平均に対する非退化性条件が一般に成立するか。
• RQ5 低次元における困難なガウス混合インスタンスをICAフレームワークに埋め込むことで、情報理論的下界を確立できるか。

主な発見

• 同一の共分散行列をもつ $ m $ 個のガウス分布の混合モデルは、$ m = O(n^d) $（任意の固定 $ d $）であり、かつ平均に非退化性条件が満たされていれば、次元 $ n $ において多項式的学習可能である。
• 次元 $ n $ が十分に高い場合、滑らかさ複雑度の下で平均の非退化性条件は一般に成立し、大多数のインスタンスが学習可能であることを示唆する。
• 低次元では、このような非退化性条件は存在しえないため、低次元設定では学習が一般に困難であることが証明される。
• ポアソン化に基づく還元により、ガウス混合モデルの学習問題がテンソルICA問題に変換され、累積モーメントに基づく手法による効率的回復が可能になる。
• 本手法により、困難なガウス混合インスタンスを埋め込むことで、低次元における未定義ICAに対する指数的情報理論的下界が確立される。
• 本稿は、大規模なガウス混合モデルの学習という文脈において、「次元の賛美」の最初の厳密な証拠を提供しており、高次元では学習が単純化されることを示している。