[論文レビュー] A Nearly Optimal and Agnostic Algorithm for Properly Learning a Mixture of k Gaussians, for any Constant k

Jerry Zheng Li, Ludwig Schmidt|arXiv (Cornell University)|Jun 3, 2015

Machine Learning and Algorithms参考文献 29被引用数 12

ひとこと要約

この論文は、混合ガウス分布の学習において、ほぼ最適で、かつアグノスティックなアルゴリズムを提示している。サンプル複雑度は $\widetilde{O}(k/\epsilon^2)$、実行時間は $(k \log \frac{1}{\epsilon})^{O(k^4)} + \widetilde{O}(k/\epsilon^2)$ であり、固定された $k$ に対してはサンプル数にほぼ線形の実行時間となる。この手法は密度推定を経て、推定された密度にガウス混合モデルを多項式方程式系の解法によってフィッティングすることで、真の分布がガウス混合でない場合でもアグノスティックな学習を可能にする。

ABSTRACT

Learning a Gaussian mixture model (GMM) is a fundamental problem in machine learning, learning theory, and statistics. One notion of learning a GMM is proper learning: here, the goal is to find a mixture of $k$ Gaussians $\mathcal{M}$ that is close to the density $f$ of the unknown distribution from which we draw samples. The distance between $\mathcal{M}$ and $f$ is typically measured in the total variation or $L_1$-norm. We give an algorithm for learning a mixture of $k$ univariate Gaussians that is nearly optimal for any fixed $k$. The sample complexity of our algorithm is $ ilde{O}(\frac{k}{ε^2})$ and the running time is $(k \cdot \log\frac{1}ε)^{O(k^4)} + ilde{O}(\frac{k}{ε^2})$. It is well-known that this sample complexity is optimal (up to logarithmic factors), and it was already achieved by prior work. However, the best known time complexity for proper learning a $k$-GMM was $ ilde{O}(\frac{1}{ε^{3k-1}})$. In particular, the dependence between $\frac{1}ε$ and $k$ was exponential. We significantly improve this dependence by replacing the $\frac{1}ε$ term with a $\log \frac{1}ε$ while only increasing the exponent moderately. Hence, for any fixed $k$, the $ ilde{O} (\frac{k}{ε^2})$ term dominates our running time, and thus our algorithm runs in time which is nearly-linear in the number of samples drawn. Achieving a running time of $ extrm{poly}(k, \frac{1}ε)$ for proper learning of $k$-GMMs has recently been stated as an open problem by multiple researchers, and we make progress on this question. Moreover, our approach offers an agnostic learning guarantee: our algorithm returns a good GMM even if the distribution we are sampling from is not a mixture of Gaussians. To the best of our knowledge, our algorithm is the first agnostic proper learning algorithm for GMMs.

研究の動機と目的

• 固定された $k$ に対して、ほぼ最適なサンプル複雑度と時間複雑度を達成する、$k$ 個の単変量ガウス分布の混合の適切な学習アルゴリズムの開発。
• $k$-GMM の適切な学習における $\text{poly}(k, 1/\epsilon)$ 時間複雑度を達成するという未解決問題の解決。
• 真の分布がガウス混合でない場合でも良好な性能を示す、アグノスティックな学習保証の提供。
• 指数分布やラプラス分布などの他のパラメトリックな単変量分布への一般化。

提案手法

• アルゴリズムは、真の分布の密度の良好な近似を得るために非パラメトリックな密度推定ステップから始める。
• 推定された密度に $k$ ガウス混合モデルをフィットさせる問題を、決定的最適化問題に定式化する。
• 最適化問題は、レネガールのアルゴリズムを用いて、多項式不等式系の連鎖的解法に還元される。
• $k$ ガウス密度の差のゼロクロッシング数が有界であること、および密度がパラメータに関して多項式的依存の区分的多項式で近似可能であることに着目する。
• 小さなパrameterの摂動が密度の $L_1$-距離に小さな変化しか与えない、ロバストなパrametrization を用いる。
• ゼロクロッシング、パrametrization、多項式近似に関する構造的条件を満たすことで、指数分布やラプラス分布などの他の分布に対しても一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 固定された任意の $k$ に対して、$k$ ガウス混合の適切な学習において、ほぼ最適なサンプル複雑度とほぼ線形の実行時間の達成は可能か？
• RQ2 真の分布がガウス混合でない場合でも有効に機能する、つまりアグノスティックな学習が可能な適切な学習アルゴリズムを設計できるか？
• RQ3 適切な学習保証を維持したまま、$1/\epsilon$ に対する時間複雑度の依存関係を指数的から対数的へと低減できるか？
• RQ4 提案手法は、ガウス分布を超えた他のパラメトリックな単変量分布族へ一般化可能か？

主な発見

• アルゴリズムはサンプル複雑度 $\widetilde{O}(k/\epsilon^2)$ を達成しており、対数要因を除いて最適である。
• 実行時間は $(k \log \frac{1}{\epsilon})^{O(k^4)} + \widetilde{O}(k/\epsilon^2)$ であり、以前の $\widetilde{O}(1/\epsilon^{3k-1})$ の境界に比べて顕著に改善されている。
• アルゴリズムはアグノスティックな学習保証を提供しており、データがガウス混合から来ていない場合でも、良い $k$ ガウス混合を返す。
• 同様のサンプルおよび時間複雑度境界を達成するように、$k$ 個の指数分布および $k$ 個のラプラス分布の混合へも一般化可能である。
• 固定された $k$ に対して、$k$-GMM の適切な学習において、サンプル数にほぼ線形の実行時間となる初めてのフレームワークである。
• 適切な学習を多項式系の解法に還元することで、同様の構造的性質を持つ他のパラメトリック分布の学習の一般テンプレートを提供する。