[論文レビュー] Faster and Sample Near-Optimal Algorithms for Proper Learning Mixtures of Gaussians

Constantinos Daskalakis, Gautam Kamath|arXiv (Cornell University)|Dec 4, 2013

Machine Learning and Algorithms参考文献 26被引用数 13

ひとこと要約

この論文は、分離可能性の仮定なしに、2つの一変量正規分布の混合分布を適切に学習するためのより高速でサンプル最適なアルゴリズムを提示する。$\tilde{O}(1/\varepsilon^2)$ のサンプル複雑性と $\tilde{O}(1/\varepsilon^5)$ の実行時間の両方を達成しており、パrameterの境界に依存しなくなり、仮説数に対して時間計算量を二次から準線形に削減することで、先行研究を著しく改善する。

ABSTRACT

We provide an algorithm for properly learning mixtures of two single-dimensional Gaussians without any separability assumptions. Given $ ilde{O}(1/\varepsilon^2)$ samples from an unknown mixture, our algorithm outputs a mixture that is $\varepsilon$-close in total variation distance, in time $ ilde{O}(1/\varepsilon^5)$. Our sample complexity is optimal up to logarithmic factors, and significantly improves upon both Kalai et al., whose algorithm has a prohibitive dependence on $1/\varepsilon$, and Feldman et al., whose algorithm requires bounds on the mixture parameters and depends pseudo-polynomially in these parameters. One of our main contributions is an improved and generalized algorithm for selecting a good candidate distribution from among competing hypotheses. Namely, given a collection of $N$ hypotheses containing at least one candidate that is $\varepsilon$-close to an unknown distribution, our algorithm outputs a candidate which is $O(\varepsilon)$-close to the distribution. The algorithm requires ${O}(\log{N}/\varepsilon^2)$ samples from the unknown distribution and ${O}(N \log N/\varepsilon^2)$ time, which improves previous such results (such as the Scheffé estimator) from a quadratic dependence of the running time on $N$ to quasilinear. Given the wide use of such results for the purpose of hypothesis selection, our improved algorithm implies immediate improvements to any such use.

研究の動機と目的

• 分離可能性の仮定なしに、2つの一変量正規分布の混合分布を適切に学習するための効率的でサンプル最適なアルゴリズムの不足を解消すること。
• 先行研究の $1/\varepsilon$ 依存性を克服すること、特に [KMV10] の $\Omega(1/\varepsilon^{1377})$ の時間計算量のようなもの。
• 混合分布のパrameter（例：平均や分散の範囲）に対する事前境界の必要性を排除すること。これは [FOS06] で擬似多項式時間計算量を引き起こしていた。
• 仮説数 $N$ に対して時間計算量を $O(N^2/\varepsilon^2)$ から $O(N\log N/\varepsilon^2)$ に削減する、Scheffé推定器を上回る新しい仮説選択アルゴリズムを開発すること。
• 一変量正規分布混合分布の適切な学習において、近似的に最適なサンプル複雑性と改善された実行時間の両方を達成すること。これは分布学習分野の基盤的問題である。

提案手法

• 2段階選択（FastTournament A および B）を用いる、真の混合分布に近い候補分布を効率的に特定する新しい仮説選択アルゴリズム、FastTournament を提案する。
• 1点における2つの混合分布の密度を比較して、どちらが大きいのかを評価する、サンプル効率の良い比較器を導入する。これにより、分布の完全な評価なしに効率的な比較が可能になる。
• 仮説選択の過程で、候補となる正規分布混合分布からのサンプルを生成するために、ボックス＝ムラー変換を用いる。
• 仮説が対比較で負ける場合にのみ破棄する、新しいサンプリングに基づくトーナメントメカニズムを活用する。これにより、高い確率で堅牢性と正しさを保証する。
• 候補生成ステップ（定理11より）と仮説選択フレームワークを統合し、その中で真の分布に $\varepsilon$-近い混合分布が1つ含まれるよう保証する。
• 確率的保証により正しさを保証する：確率 $1-\delta$ 以上で、出力される混合分布は真の分布に対して全変動距離で $O(\varepsilon)$-近い。このとき、$\tilde{O}(\log(1/\delta)/\varepsilon^2)$ のサンプルと $\tilde{O}(\log^3(1/\delta)/\varepsilon^5)$ の時間計算量を用いる。

実験結果

リサーチクエスチョン

• RQ1 2つの一変量正規分布の混合分布を、対数要因を除いて最適なサンプル複雑性を達成する適切な学習アルゴリズムを設計できるか？
• RQ2 従来のアルゴリズムを悩ませていた、混合分布のパrameter（例：平均や分散の範囲）に対する事前境界に依存しないようにできるか？
• RQ3 候補仮説数に対して、仮説選択の実行時間を二次から準線形に削減できるか？
• RQ4 成分の正規分布間に分離性がなくても、近似的に最適なサンプルおよび時間計算量を達成できるか？
• RQ5 高確率で真の混合分布に $O(\varepsilon)$-近い分布を出力する、堅牢で効率的なトーナメントベースの選択メカニズムを構築できるか？

主な発見

• アルゴリズムは $\tilde{O}(1/\varepsilon^2)$ のサンプル複雑性を達成しており、対数要因を除いて最適である。
• 実行時間は $\tilde{O}(1/\varepsilon^5)$ であり、[KMV10] の $\Omega(1/\varepsilon^{1377})$ の時間計算量に比べて顕著な改善である。
• 仮説選択アルゴリズムである FastTournament は $O(N\log N/\varepsilon^2)$ の時間で実行され、Scheffé推定器などの従来手法の $O(N^2/\varepsilon^2)$ よりも改善されている。
• 期待実行時間は $\tilde{O}(\log^2(1/\delta)/\varepsilon^5)$、最悪ケース実行時間は $\tilde{O}(\log^3(1/\delta)/\varepsilon^5)$ であり、両方とも近似的に最適である。
• 分離性やパrameterの境界を要件とせず、確率 $1-\delta$ 以上で真の分布に対して全変動距離で $O(\varepsilon)$-近い混合分布を出力する。
• コアな選択サブルーチンの時間計算量が向上しているため、仮説選択に依存するあらゆる応用分野への即時的な改善が可能である。