[论文解读] Coresets for Gaussian Mixture Models of Any Shape

Dan Feldman, Zahi Kfir+1 more|arXiv (Cornell University)|Jun 12, 2019

Advanced Image and Video Retrieval Techniques参考文献 76被引用 7

一句话总结

本文提出了首个针对任意形状高斯混合模型（GMMs）的共轭核构造——即协方差特征值比无界的GMMs——实现了$(\log n)^{O(1)}/\varepsilon^2$的共轭核大小，并在近线性时间内完成计算。该方法通过敏感性分析与$\ell_\infty$-共轭核，将GMM共轭核问题转化为投影聚类问题，从而在流式、动态和分布式学习中实现高效计算，并对负对数似然提供可证明的$(1+\varepsilon)$-近似保证。

ABSTRACT

An $\varepsilon$-coreset for a given set $D$ of $n$ points, is usually a small weighted set, such that querying the coreset \emph{provably} yields a $(1+\varepsilon)$-factor approximation to the original (full) dataset, for a given family of queries. Using existing techniques, coresets can be maintained for streaming, dynamic (insertion/deletions), and distributed data in parallel, e.g. on a network, GPU or cloud. We suggest the first coresets that approximate the negative log-likelihood for $k$-Gaussians Mixture Models (GMM) of arbitrary shapes (ratio between eigenvalues of their covariance matrices). For example, for any input set $D$ whose coordinates are integers in $[-n^{100},n^{100}]$ and any fixed $k,d\geq 1$, the coreset size is $(\log n)^{O(1)}/\varepsilon^2$, and can be computed in time near-linear in $n$, with high probability. The optimal GMM may then be approximated quickly by learning the small coreset. Previous results [NIPS'11, JMLR'18] suggested such small coresets for the case of semi-speherical unit Gaussians, i.e., where their corresponding eigenvalues are constants between $\frac{1}{2π}$ to $2π$. Our main technique is a reduction between coresets for $k$-GMMs and projective clustering problems. We implemented our algorithms, and provide open code, and experimental results. Since our coresets are generic, with no special dependency on GMMs, we hope that they will be useful for many other functions.

研究动机与目标

• 为具有任意协方差形状（包括特征值比无界）的$k$-高斯混合模型（GMMs）开发共轭核构造方法。
• 通过减小输入规模同时保持负对数似然的$(1+\varepsilon)$-近似，实现大尺度数据上GMM的高效可扩展学习。
• 将现有共轭核技术扩展至非球形GMMs，克服先前工作仅限于半球形高斯分布的局限性。
• 提供一个通用框架，可应用于GMMs以外的广泛学习问题，基于敏感性与VC维分析。

提出的方法

• 将构建$k$-GMMs的$\varepsilon$-共轭核问题归约为投影聚类问题，利用子空间上已知的共轭核结果。
• 采用敏感性采样与$\ell_\infty$-共轭核构造，以限制单个数据点在似然近似中的影响。
• 对空间的分层划分（如环形、条带、矩形）递归应用共轭核构造，以处理任意子空间配置。
• 在流式数据中采用二分法计算，以高概率维护大小为$O(\log n / \varepsilon^2)$的共轭核。
• 推导投影聚类的VC维界，确保共轭核大小仅依赖于$\varepsilon$、$k$和$d$，而不依赖于$n$。
• 实现该算法并发布开源代码，在真实世界数据集上验证性能。

实验结果

研究问题

• RQ1 能否为具有任意形状高斯分布（即特征值比无界）的$k$-GMMs构造共轭核，同时保持负对数似然的$(1+\varepsilon)$-近似？
• RQ2 是否能在流式、动态或分布式环境中高效维护此类共轭核？
• RQ3 该共轭核构造能否推广至其他具有类似代价函数的学习问题？
• RQ4 此类共轭核的理论大小边界是什么？其随$n$、$k$、$d$和$\varepsilon$的扩展规律如何？
• RQ5 在输入或协方差矩阵具有结构化假设的条件下，能否减少对$d$和$k$的指数依赖？

主要发现

• 对于具有任意形状高斯分布的$k$-GMMs，共轭核大小为$(\log n)^{O(1)}/\varepsilon^2$，假设输入坐标位于$[-n^{100}, n^{100}]$范围内。
• 共轭核可在$n$的近线性时间内以高概率计算完成，支持可扩展学习。
• 通过现有共轭核维护技术，该方法支持流式、动态和分布式数据处理。
• 该框架将GMM共轭核构造问题归约为投影聚类，复用子空间上已知的共轭核结果。
• 实验结果表明，理论最坏情况边界与真实世界数据上的实际性能之间存在显著差距。
• 该方法可推广至其他具有对数-Lipschitz损失函数的模型，表明其在GMMs之外具有广泛适用性。