[論文レビュー] Near-optimal-sample estimators for spherical Gaussian mixtures

Jayadev Acharya, Ashkan Jafarpour+2 more|arXiv (Cornell University)|Feb 19, 2014

Bayesian Methods and Mixture Models参考文献 25被引用数 26

ひとこと要約

本稿では、高次元球面ガウス混合分布のための、初めてのサンプル効率的で多項式時間の推定器を提示する。著者らは、特徴値的手法を用い、近似的に最適なサンプル複雑度 $\mathcal{O}_k\left(\frac{d\log^2 d}{\epsilon^4}\right)$ と実行時間 $\mathcal{O}_{k,\epsilon}(d^3\log^5 d)$ を達成する。この手法は、集中不等式を用いたスペクトルクラスタリングと平均推定を組み合わせ、$\ell_1$-距離誤差を $\epsilon$ 以内に保証し、理論的下界に対し対数因子の差異を除いて一致する。

ABSTRACT

Statistical and machine-learning algorithms are frequently applied to high-dimensional data. In many of these applications data is scarce, and often much more costly than computation time. We provide the first sample-efficient polynomial-time estimator for high-dimensional spherical Gaussian mixtures. For mixtures of any $k$ $d$-dimensional spherical Gaussians, we derive an intuitive spectral-estimator that uses $\mathcal{O}_k\bigl(\frac{d\log^2d}{ε^4}\bigr)$ samples and runs in time $\mathcal{O}_{k,ε}(d^3\log^5 d)$, both significantly lower than previously known. The constant factor $\mathcal{O}_k$ is polynomial for sample complexity and is exponential for the time complexity, again much smaller than what was previously known. We also show that $Ω_k\bigl(\frac{d}{ε^2}\bigr)$ samples are needed for any algorithm. Hence the sample complexity is near-optimal in the number of dimensions. We also derive a simple estimator for one-dimensional mixtures that uses $\mathcal{O}\bigl(\frac{k \log \frac{k}ε }{ε^2} \bigr)$ samples and runs in time $\widetilde{\mathcal{O}}\left(\bigl(\frac{k}ε\bigr)^{3k+1} ight)$. Our other technical contributions include a faster algorithm for choosing a density estimate from a set of distributions, that minimizes the $\ell_1$ distance to an unknown underlying distribution.

研究の動機と目的

• 高次元球面ガウス混合分布の学習において、データ収集が高コストである場合に顕著なサンプル複雑度の問題に対処すること。
• 次元数 $d$ に関して近似的に最適なサンプル複雑度を達成する多項式時間アルゴリズムの設計。
• $d$ 次元球面ガウス混合分布の既知の理論的下界と実用的なサンプル要件の間のギャップを埋めること。
• $\ell_1$-距離誤差を $\epsilon$ 以内に保証する高確率で成立するPAC学習フレームワークの提供。
• $\ell_1$ 距離が真の分布に最も近い密度推定を最小化する高速なアルゴリズムの開発。

提案手法

• サンプル共分散行列の上位固有ベクトルを用いてデータをクラスタリングするスペクトル推定器を提案し、成分の平均と分散を回復する。
• 2段階推定を採用：まず集中不等式を用いて全般的な分散 $\sigma^2$ を推定し、次にスペクトル射影を用いて成分固有の平均を精密化する。
• 推定された共分散構造に基づくシングルリンククラスタリングを用い、サンプルを成分クラスタにグループ化する。
• 上位 $k-1$ 個の固有ベクトルの線形結合からなる候補平均ベクトルのグリッドサーチを実施し、真の成分平均に近い近似を求める。
• 集中不等式を活用して平均および分散の推定誤差を制限し、$\ell_1$-距離誤差を $\epsilon$ 以内に保証する。
• $\ell_1$ 距離最小化に基づく有限集合からの最良密度推定の選択を高速化するアルゴリズムを導入する。

実験結果

リサーチクエスチョン

• RQ1 次元数 $d$ に関して情報理論的下界に近いサンプル複雑度を達成する高次元球面ガウス混合分布のための多項式時間アルゴリズムを設計可能か？
• RQ2 真の分布との $\ell_1$-距離が $\epsilon$ 以内になるように $k$ 成分球面ガウス混合分布を学習するために必要な最小サンプル数は何か？
• RQ3 高次元において最小限のサンプルで、スペクトル手法をどのように用いて成分の平均と分散を効率的に推定できるか？
• RQ4 $\ell_1$-距離最小化に基づく有限集合からの最良密度推定の選択を高速化するアルゴリズムを構築可能か？
• RQ5 $k$ 成分混合分布の $d$ 次元において、近似的に最適なサンプル複雑度を維持しつつ、多項式時間実行を達成することは可能か？

主な発見

• 提案されたスペクトル推定器は、$\mathcal{O}_k\left(\frac{d\log^2 d}{\epsilon^4}\right)$ のサンプルを用い、$d$ に関して対数因子を除いて近似的に最適である。
• アルゴリズムの実行時間は $\mathcal{O}_{k,\epsilon}(d^3\log^5 d)$ であり、従来の指数時間法に比べ顕著に改善されている。
• サンプル複雑度は理論的下界 $\Omega_k\left(\frac{d}{\epsilon^2}\right)$ に、対数および多項式因子 $k$ を除いて一致する。
• 1次元の $k$ 成分混合分布に対しては、$\mathcal{O}\left(\frac{k\log(k/\epsilon)}{\epsilon^2}\right)$ のサンプルを用い、$\widetilde{\mathcal{O}}\left(\left(\frac{k}{\epsilon}\right)^{3k+1}\right)$ の時間で実行される。
• 本手法は、真の分布と推定混合分布との間の $\ell_1$-距離誤差が高確率で $\leq \epsilon$ であることを保証する。
• 有限集合における $\ell_1$-距離最小化のための新しい高速アルゴリズムを開発し、密度推定の効率性が向上した。