[论文解读] Learning Gaussian Mixtures with Arbitrary Separation

Mikhail Belkin, K. P. Sinha|arXiv (Cornell University)|Jul 6, 2009

Bayesian Methods and Mixture Models参考文献 15被引用 14

一句话总结

本论文提出了首个在 $k$ 个相同球形高斯分布混合模型中，于 $n$ 维空间内以任意小的组件均值间距学习参数的多项式时间算法。通过将数据投影至 $k$ 维并进一步简化为一维问题，该方法利用傅里叶分析和范德蒙德矩阵子式对混合密度的 $L^2$ 范数进行有界处理，实现了在固定 $k$ 时，时间复杂度关于维度和反向分离度为多项式的时间内完成参数恢复，从而解决了高斯混合学习中一个关键的开放性问题。

ABSTRACT

In this paper we present a method for learning the parameters of a mixture of $k$ identical spherical Gaussians in $n$-dimensional space with an arbitrarily small separation between the components. Our algorithm is polynomial in all parameters other than $k$. The algorithm is based on an appropriate grid search over the space of parameters. The theoretical analysis of the algorithm hinges on a reduction of the problem to 1 dimension and showing that two 1-dimensional mixtures whose densities are close in the $L^2$ norm must have similar means and mixing coefficients. To produce such a lower bound for the $L^2$ norm in terms of the distances between the corresponding means, we analyze the behavior of the Fourier transform of a mixture of Gaussians in 1 dimension around the origin, which turns out to be closely related to the properties of the Vandermonde matrix obtained from the component means. Analysis of this matrix together with basic function approximation results allows us to provide a lower bound for the norm of the mixture in the Fourier domain. In recent years much research has been aimed at understanding the computational aspects of learning parameters of Gaussians mixture distributions in high dimension. To the best of our knowledge all existing work on learning parameters of Gaussian mixtures assumes minimum separation between components of the mixture which is an increasing function of either the dimension of the space $n$ or the number of components $k$. In our paper we prove the first result showing that parameters of a $n$-dimensional Gaussian mixture model with arbitrarily small component separation can be learned in time polynomial in $n$.

研究动机与目标

• 解决长期存在的开放问题：当组件均值间距任意小时，高斯混合模型是否可实现多项式时间学习。
• 为高维空间中 $k$ 个相同球形高斯分布的参数估计开发一个多项式时间算法，且组件间最小间距可任意小。
• 通过傅里叶分析与范德蒙德行列式，建立混合密度 $L^2$ 距离与均值间距之间的理论界限。
• 在组件接近重合的情况下，提供一种估计混合系数与方差的框架。
• 证明在此类设置下，$k$ 的超指数依赖关系不可避免，但对固定 $k$ 仍可实现多项式时间复杂度。

提出的方法

• 将 $n$ 维数据投影至 $k$ 维，以将问题简化为低维参数估计任务。
• 通过沿特定方向分析投影，将多维问题简化为一维混合学习问题。
• 利用一维高斯混合的傅里叶分析，推导出两个混合密度之间 $L^2$ 范数差的下界，该下界以均值间距表示。
• 分析由组件均值构成的范德蒙德矩阵的子式，以关联其与原点附近傅里叶变换行为的关系。
• 证明混合密度间 $L^2$ 距离较小意味着均值与混合系数的差异也较小。
• 利用集中不等式与矩有界性，估计特征函数的多项式系数，从而实现鲁棒的参数恢复。

实验结果

研究问题

• RQ1 当组件均值间距任意小时，是否可实现高斯混合模型的多项式时间学习？
• RQ2 两个一维高斯混合密度的 $L^2$ 距离与它们组件均值间距之间存在何种关系？
• RQ3 如何利用一维高斯混合的傅里叶变换，推导出以均值差异表示的 $L^2$ 范数下界？
• RQ4 范德蒙德矩阵的子式在刻画高斯混合可区分性方面起到何种作用？
• RQ5 能否使用同一框架估计混合中相同球形高斯分布的方差？

主要发现

• 该算法在固定 $k$ 时，对 $n$、$1/ ext{sep}$ 及其他输入参数为多项式时间复杂度，即使组件均值间距任意接近，仍可学习 $k$ 个相同球形高斯分布的混合参数。
• 两个一维混合密度之间的 $L^2$ 距离存在一个以均值间距为参数的下界，从而支持参数恢复。
• 证明了一维高斯混合在原点附近的傅里叶变换与由均值构成的范德蒙德矩阵的行列式相关。
• 范德蒙德矩阵的子式为两个混合密度差的 $L^2$ 范数提供了下界，从而转化为对组件可区分性的下界。
• 通过网格搜索与集中不等式，该方法可高概率地估计混合系数与方差，尽管该过程在 $k$ 上为超指数时间。
• 分析表明，非零间距是必要的，但该算法适用于任意大于零的间距，使其成为该参数区域内的首个此类结果。