[論文レビュー] Learning Mixtures of Gaussians in High Dimensions

Rong Ge, Qingqing Huang+1 more|arXiv (Cornell University)|Mar 2, 2015

Tensor decomposition and applications参考文献 23被引用数 19

ひとこと要約

本稿では、平滑化解析（smoothed analysis）下で、次元 n が Ω(k²) 以上である高次元におけるガウス混合分布の多項式時間学習アルゴリズムを提示する。パラメータがランダムに摺れ倣われることを前提とし、高次モーメントテンソルの対称性をイッセリスの定理を用いて活用し、構造的ランダム行列の特異値を抑えるための新規ツールを開発することで、指数的障壁を克服し、多項式時間および多項式サンプル複雑性を達成する。

ABSTRACT

Efficiently learning mixture of Gaussians is a fundamental problem in statistics and learning theory. Given samples coming from a random one out of k Gaussian distributions in Rn, the learning problem asks to estimate the means and the covariance matrices of these Gaussians. This learning problem arises in many areas ranging from the natural sciences to the social sciences, and has also found many machine learning applications. Unfortunately, learning mixture of Gaussians is an information theoretically hard problem: in order to learn the parameters up to a reasonable accuracy, the number of samples required is exponential in the number of Gaussian components in the worst case. In this work, we show that provided we are in high enough dimensions, the class of Gaussian mixtures is learnable in its most general form under a smoothed analysis framework, where the parameters are randomly perturbed from an adversarial starting point. In particular, given samples from a mixture of Gaussians with randomly perturbed parameters, when n > Ω(k^2), we give an algorithm that learns the parameters with polynomial running time and using polynomial number of samples. The central algorithmic ideas consist of new ways to decompose the moment tensor of the Gaussian mixture by exploiting its structural properties. The symmetries of this tensor are derived from the combinatorial structure of higher order moments of Gaussian distributions (sometimes referred to as Isserlis' theorem or Wick's theorem). We also develop new tools for bounding smallest singular values of structured random matrices, which could be useful in other smoothed analysis settings.

研究の動機と目的

• 最悪ケース設定下での高次元ガウス混合分布学習の計算的困難性に対処すること。
• 次元 n が十分に大きい（n ≥ Ω(k²)）場合、平滑化解析が一般ガウス混合分布の効率的学習を可能にすることを示すこと。
• イッセリスの定理から得られる構造的対称性を活用する高次モーメントテンソルに基づく手法を開発すること。
• パラメータのランダム摂動下で一般ガウス混合分布の学習に対して多項式実行時間および多項式サンプル複雑性を確立すること。
• 本問題を超えて応用可能な、構造的ランダム行列の最小特異値を抑えるための新規ツールを提供すること。

提案手法

• モーメント法を用い、標本から O(k)-次モーメントを推定し、元のガウス成分を再構成する。
• 高次モーメントの組み合わせ的構造（ウィークの定理／イッセリスの定理）から生じるテンソルの固有の対称性を用いて、モーメントテンソルを分解する。
• 平滑化解析を適用：パラメータは敵対的に選ばれた後、微小な ρ でランダムに摺れ倣われる。これにより、退化ケースはまれになる。
• 構造的ランダムテンソルの尾確率を抑えるために、分離済みおよび結合済みガウスホーチェ不等式を用いる。
• テンソル分解の安定性と耐障害性を保証するため、構造的ランダム行列に対する新規特異値評価を導入する。
• フロベニウスノルムおよび分割に基づくノルムを用い、ランダム摂動下でのモーメントテンソル成分の大きさを制御する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、ガウス混合モデルを多項式時間および多項式サンプル数で学習可能か？
• RQ2 平滑化解析は、一般共分散行列を有するガウス混合分布の学習における最悪ケースの困難性を解消するか？
• RQ3 高次モーメントテンソルは、対称性に基づく手法を用いて効果的に分解可能か、パラメータ回復に応用可能か？
• RQ4 平滑化解析下で効率的学習を保証するための最小次元 n は何か？
• RQ5 構造的ランダム行列に対する新規集中不等式は、モーメントベース学習アルゴリズムの解析を改善できるか？

主な発見

• n ≥ Ω(k²) の条件下で、k 成分の一般ガウス混合分布が多項式時間および多項式サンプル複雑性で学習可能である。
• イッセリスの定理を用いた高次モーメントの対称的・組み合わせ的構造の活用によって達成された。
• 対角項を含むガウスホーチェに対する新規集中不等式により、モーメントテンソル推定のロバスト性が保証された。
• 構造的ランダム行列の最小特異値が高確率で有界であることが示され、安定なテンソル分解が可能になった。
• 平滑化解析フレームワークにより、小さなランダム摂動の後、悪いインスタンスはパrameter空間で孤立し、まれになることが保証された。
• パラメータの摂動を仮定することで、MoitraとValiant（2010）が示した最悪ケースにおける指数的サンプル複雑性下限を克服した。