[论文解读] Training Gaussian Mixture Models at Scale via Coresets

Mario Lučić, Matthew Faulkner+2 more|arXiv (Cornell University)|Mar 23, 2017

Gaussian Processes and Bayesian Inference参考文献 37被引用 27

一句话总结

本文提出了一种基于核样本（coreset）的方法，用于在大规模数据上训练高斯混合模型（GMM），通过构建一个小型加权数据子集，使该子集的对数似然值在用户定义的误差范围内与完整数据集保持一致。核样本大小仅取决于维度、分量数量和精度，与数据规模无关，从而实现了高效的分布式和流式计算，并为λ-半球形高斯分布提供了可证明的近似保证。

ABSTRACT

How can we train a statistical mixture model on a massive data set? In this work we show how to construct coresets for mixtures of Gaussians. A coreset is a weighted subset of the data, which guarantees that models fitting the coreset also provide a good fit for the original data set. We show that, perhaps surprisingly, Gaussian mixtures admit coresets of size polynomial in dimension and the number of mixture components, while being independent of the data set size. Hence, one can harness computationally intensive algorithms to compute a good approximation on a significantly smaller data set. More importantly, such coresets can be efficiently constructed both in distributed and streaming settings and do not impose restrictions on the data generating process. Our results rely on a novel reduction of statistical estimation to problems in computational geometry and new combinatorial complexity results for mixtures of Gaussians. Empirical evaluation on several real-world datasets suggests that our coreset-based approach enables significant reduction in training-time with negligible approximation error.

研究动机与目标

• 解决在大规模数据集上训练GMM时，全数据推理计算成本过高的挑战。
• 开发一种方法，利用一个小的、加权的数据子集（即核样本）实现准确的GMM估计，同时保持似然质量。
• 确保核样本构造在分布式和流式环境中高效，内存占用和更新时间最小化。
• 提供与数据集规模无关的核样本大小和近似误差的理论保证。
• 将计算几何技术扩展至涉及高斯混合的统计估计问题。

提出的方法

• 该方法通过在任意有效GMM参数化下，对每个数据点对似然函数的敏感度进行有界，来构建核样本。
• 提出一种新颖的从统计估计到计算几何的约化方法，利用伪维数和敏感度采样来控制核样本大小。
• 采用两阶段算法：首先并行运行多个类似k-means++的聚类以降低方差；其次基于敏感度得分采样核样本。
• 在λ-半球形高斯分布的假设下，核样本大小被限制为O(d⁴k⁶λ⁻⁴ε⁻²)，且与数据点数量n无关。
• 对加权期望最大化（EM）算法进行改造以处理核样本，其中点权重按比例缩放其对似然函数和更新规则的贡献。
• 通过集中不等式和基于敏感度的采样推导出理论保证，确保在高概率下对负对数似然值实现(1±ε)的近似。

实验结果

研究问题

• RQ1 能否为高斯混合模型构建大小与数据集规模无关的核样本？
• RQ2 此类核样本能否在分布式和流式环境中高效计算？
• RQ3 为在ε精度内近似GMM的对数似然值，理论上所需的核样本大小是多少？
• RQ4 数据点对似然函数的敏感度如何依赖于高斯分布的几何结构？
• RQ5 基于核样本的方法能否在显著减少训练时间的同时保持高精度？

主要发现

• 核样本大小为O(d⁴k⁶λ⁻⁴ε⁻²)，与数据点数量n无关，因此可扩展至超大规模数据集。
• 该方法保证核样本的负对数似然值在所有有效GMM参数下，与完整数据集的负对数似然值相差(1±ε)因子以内。
• 核样本可通过合并-归约策略并行构建，并在流式环境中构建，其空间复杂度和更新时间在d、k、λ⁻¹、ε⁻¹、log n和log(1/δ)上为多项式时间。
• 实验评估表明，基于核样本的方法在真实世界数据集上显著减少了训练时间，且近似误差可忽略不计。
• 理论分析表明，核样本构造对数据缩放具有鲁棒性，因为近似结果在数据的线性变换下保持不变。
• 在每个协方差矩阵的特征值乘积至少为1/(2π)ᵈ的条件下，该方法实现了对对数似然值的乘法(1±ε)近似。