[论文解读] Faster and Sample Near-Optimal Algorithms for Proper Learning Mixtures of Gaussians

Constantinos Daskalakis, Gautam Kamath|arXiv (Cornell University)|Dec 4, 2013

Machine Learning and Algorithms参考文献 26被引用 13

一句话总结

本文提出了一种更快且样本最优的算法，用于在无可分性假设下正确学习两个一元高斯分布的混合模型。该算法实现了 $\tilde{O}(1/\varepsilon^2)$ 的样本复杂度和 $\tilde{O}(1/\varepsilon^5)$ 的运行时间，显著优于以往工作，消除了对参数边界的依赖，并将运行时间从关于假设数量的二次方降低至准线性。

ABSTRACT

We provide an algorithm for properly learning mixtures of two single-dimensional Gaussians without any separability assumptions. Given $ ilde{O}(1/\varepsilon^2)$ samples from an unknown mixture, our algorithm outputs a mixture that is $\varepsilon$-close in total variation distance, in time $ ilde{O}(1/\varepsilon^5)$. Our sample complexity is optimal up to logarithmic factors, and significantly improves upon both Kalai et al., whose algorithm has a prohibitive dependence on $1/\varepsilon$, and Feldman et al., whose algorithm requires bounds on the mixture parameters and depends pseudo-polynomially in these parameters. One of our main contributions is an improved and generalized algorithm for selecting a good candidate distribution from among competing hypotheses. Namely, given a collection of $N$ hypotheses containing at least one candidate that is $\varepsilon$-close to an unknown distribution, our algorithm outputs a candidate which is $O(\varepsilon)$-close to the distribution. The algorithm requires ${O}(\log{N}/\varepsilon^2)$ samples from the unknown distribution and ${O}(N \log N/\varepsilon^2)$ time, which improves previous such results (such as the Scheffé estimator) from a quadratic dependence of the running time on $N$ to quasilinear. Given the wide use of such results for the purpose of hypothesis selection, our improved algorithm implies immediate improvements to any such use.

研究动机与目标

• 解决在无可分性假设下，针对两个一元高斯分布混合模型缺乏高效且样本最优的正确学习算法的问题。
• 克服以往算法中对 $1/\varepsilon$ 的过度依赖，例如 [KMV10] 中的 $\Omega(1/\varepsilon^{1377})$ 时间复杂度。
• 消除对混合参数（如均值和方差范围）先验边界的依赖，这些边界曾导致 [FOS06] 中出现伪多项式时间复杂度。
• 提出一种新颖的假设选择算法，通过将运行时间从 $O(N^2/\varepsilon^2)$ 降低至 $O(N\log N/\varepsilon^2)$，改进了 Scheffé 估计器，其中 $N$ 为假设数量。
• 实现近似最优的样本复杂度和改进的运行时间，用于一元高斯混合模型的正确学习，这是分布学习中的基础性问题。

提出的方法

• 提出一种新的假设选择算法 FastTournament，采用两阶段选择（FastTournament A 和 B），以高效识别出接近真实混合分布的候选分布。
• 引入一种样本高效的比较器，通过在某一点评估两个混合分布的密度来判断哪个更大，从而实现在无需完整分布评估的情况下进行高效比较。
• 在假设选择过程中，使用 Box-Muller 变换从候选高斯混合分布生成样本。
• 利用一种新颖的基于采样的锦标赛机制，仅在假设在成对比较中失败时才将其丢弃，从而在高概率下确保鲁棒性和正确性。
• 将假设选择框架与候选生成步骤（来自定理 11）相结合，生成一组混合分布，其中至少有一个与真实分布 $\varepsilon$-接近。
• 通过概率保证确保正确性：算法以至少 $1-\delta$ 的概率输出一个与真实分布总变差距离为 $O(\varepsilon)$ 的混合分布，使用 $\tilde{O}(\log(1/\delta)/\varepsilon^2)$ 个样本和 $\tilde{O}(\log^3(1/\delta)/\varepsilon^5)$ 的时间。

实验结果

研究问题

• RQ1 我们能否设计一种针对两个一元高斯分布混合模型的正确学习算法，其样本复杂度在对数因子内达到最优？
• RQ2 我们能否消除以往算法中对混合参数（如均值和方差范围）先验边界的依赖，这些依赖曾导致算法性能下降？
• RQ3 我们能否将假设选择的运行时间从关于候选假设数量的二次方降低至准线性？
• RQ4 是否可能在不假设组成高斯分布之间可分的情况下，实现近似最优的样本复杂度和时间复杂度？
• RQ5 我们能否构建一种鲁棒且高效的基于锦标赛的假设选择机制，以高概率保证输出一个与真实混合分布 $O(\varepsilon)$-接近的分布？

主要发现

• 该算法实现了 $\tilde{O}(1/\varepsilon^2)$ 的样本复杂度，这在对数因子内是最优的。
• 运行时间为 $\tilde{O}(1/\varepsilon^5)$，相较于 [KMV10] 中的 $\Omega(1/\varepsilon^{1377})$ 时间复杂度有显著提升。
• 假设选择算法 FastTournament 的运行时间为 $O(N\log N/\varepsilon^2)$，优于以往方法（如 Scheffé 估计器）的 $O(N^2/\varepsilon^2)$。
• 期望运行时间为 $\tilde{O}(\log^2(1/\delta)/\varepsilon^5)$，最坏情况运行时间为 $\tilde{O}(\log^3(1/\delta)/\varepsilon^5)$，两者均为近似最优。
• 该算法以至少 $1-\delta$ 的概率输出一个与真实分布总变差距离为 $O(\varepsilon)$ 的混合分布，且无需可分性假设或参数边界。
• 该框架可立即提升任何依赖假设选择的应用性能，因为其核心选择子程序的时间复杂度已显著优化。