[论文解读] PAC Learning Mixtures of Axis-Aligned Gaussians with No Separation Assumption

Jon Feldman, Ryan O’Donnell+1 more|ArXiv.org|Sep 16, 2006

Machine Learning and Algorithms参考文献 19被引用 5

一句话总结

本文提出了一种针对 $¹^n$ 中轴对齐高斯混合的 PAC-学习算法，该算法在无需分量间分离或最小混合权重假设的前提下，以 $¹\big(\mathrm{poly}(n/\epsilon)\big)$ 时间运行。该方法通过矩方法与拒绝采样，将离散乘积分布的 WAM 算法扩展至连续高斯分布，实现了以高概率获得与真实分布 KL 散度在 $\epsilon$ 以内的近似。

ABSTRACT

We propose and analyze a new vantage point for the learning of mixtures of Gaussians: namely, the PAC-style model of learning probability distributions introduced by Kearns et al. Here the task is to construct a hypothesis mixture of Gaussians that is statistically indistinguishable from the actual mixture generating the data; specifically, the KL-divergence should be at most epsilon. In this scenario, we give a poly(n/epsilon)-time algorithm that learns the class of mixtures of any constant number of axis-aligned Gaussians in n-dimensional Euclidean space. Our algorithm makes no assumptions about the separation between the means of the Gaussians, nor does it have any dependence on the minimum mixing weight. This is in contrast to learning results known in the ``clustering'' model, where such assumptions are unavoidable. Our algorithm relies on the method of moments, and a subalgorithm developed in previous work by the authors (FOCS 2005) for a discrete mixture-learning problem.

研究动机与目标

• 开发一种在缺乏几何或统计分离假设条件下的轴对齐高斯混合 PAC-学习算法。
• 消除对最小混合权重的依赖，此类依赖常限制先前学习算法的适用性。
• 将适用于离散乘积分布的 WAM 算法扩展至连续的高维高斯混合分布。
• 提供一种可证明高效的算法，具有多项式时间复杂度与保证的 KL 散度界。
• 确立矩方法可用于学习连续乘积分布混合的一般条件。

提出的方法

• 将适用于离散乘积分布的 WAM（权重与均值）算法，通过矩方法扩展至连续轴对齐高斯分布。
• 使用拒绝采样构建真实混合分布的截断版本 ${\bf Z}_M$，其具有有界支撑。
• 利用矩估计恢复单个高斯分布的参数，通过低阶矩求解均值与方差。
• 通过坐标间矩估计的叉积构造，恢复完整的多变量参数。
• 实施基于采样的误差分析，以界定真实分布与假设分布之间的 KL 散度。
• 依赖矩阵奇异值理论分析矩估计中的误差，扩展了先前工作的技术。

实验结果

研究问题

• RQ1 能否在无分离假设的前提下，高效地 PAC-学习轴对齐高斯混合？
• RQ2 是否可能在高斯混合学习中消除对最小混合权重的依赖？
• RQ3 能否将适用于离散乘积分布的 WAM 算法扩展至连续分布（如高斯分布）？
• RQ4 在连续情况下，何种条件可确保基于矩的参数估计产生 KL 接近的分布？
• RQ5 如何控制连续域中的采样误差，以实现多项式时间学习？

主要发现

• 该算法运行时间为 $\mathrm{poly}(n/\epsilon) \cdot \log(1/\delta)$，并以至少 $1 - \delta$ 的概率输出一个假设混合分布，使得 $\mathrm{KL}({\bf Z} \parallel {\bf Z}^\prime) \leq \epsilon$。
• 该方法无需高斯均值之间的分离，也无需对混合权重设定下界，与基于聚类的方法不同。
• 通过矩估计与拒绝采样，成功将 WAM 算法从离散域扩展至连续域。
• 通过结合截断分布与原始分布的误差界，实现了 $33\epsilon$ 的 KL 散度界。
• 该方法可推广至其他单变量分布（如伽马分布、贝塔分布、指数分布），只要参数能从矩中恢复且采样高效。
• 识别出理论条件，使得该方法可扩展至具有快速衰减尾部的任意乘积分布混合。