[论文解读] Polynomial Learning of Distribution Families

Mikhail Belkin, K. P. Sinha|arXiv (Cornell University)|Apr 27, 2010

Machine Learning and Algorithms参考文献 16被引用 143

一句话总结

本文解决了高维高斯混合模型在任意固定分量数下无需分量间分离假设的多项式时间学习这一长期悬而未决的开放问题。它引入了多项式族——其矩关于参数为多项式形式的分布——并运用实代数几何工具，证明此类族的参数可在多项式时间与样本复杂度下被学习，从而通过降维与矩估计实现高斯混合模型的高效学习。

ABSTRACT

The question of polynomial learnability of probability distributions, particularly Gaussian mixture distributions, has recently received significant attention in theoretical computer science and machine learning. However, despite major progress, the general question of polynomial learnability of Gaussian mixture distributions still remained open. The current work resolves the question of polynomial learnability for Gaussian mixtures in high dimension with an arbitrary fixed number of components. The result on learning Gaussian mixtures relies on an analysis of distributions belonging to what we call "polynomial families" in low dimension. These families are characterized by their moments being polynomial in parameters and include almost all common probability distributions as well as their mixtures and products. Using tools from real algebraic geometry, we show that parameters of any distribution belonging to such a family can be learned in polynomial time and using a polynomial number of sample points. The result on learning polynomial families is quite general and is of independent interest. To estimate parameters of a Gaussian mixture distribution in high dimensions, we provide a deterministic algorithm for dimensionality reduction. This allows us to reduce learning a high-dimensional mixture to a polynomial number of parameter estimations in low dimension. Combining this reduction with the results on polynomial families yields our result on learning arbitrary Gaussian mixtures in high dimensions.

研究动机与目标

• 解决高维高斯混合模型在无分离假设下多项式时间学习的开放问题。
• 建立一个学习多项式族中分布的一般框架，其中矩是参数的多项式函数。
• 证明任意多项式族中分布的参数均可在多项式时间与样本复杂度下被学习。
• 通过确定性降维与迭代参数估计，将该框架应用于高维高斯混合模型。
• 将该方法扩展至学习低维分布的乘积形式及其他结构化族。

提出的方法

• 本文引入了多项式族的概念，其定义为矩是参数的多项式函数的分布。
• 利用实代数几何工具，证明了此类族中分布的参数可通过矩方法实现可识别性与估计。
• 提出一种确定性降维技术，将高维混合模型投影至低维子空间，从而实现高效参数估计。
• 算法估计投影中可识别半径，并选择能保留足够信息以实现参数恢复的子空间。
• 通过逐个坐标扩展子空间，采用投影方法迭代估计缺失的均值与协方差分量。
• 应用推论 2.11 逐步在递增子空间中估计混合权重、投影均值与协方差子式，确保收敛至完整参数恢复。

实验结果

研究问题

• RQ1 高维高斯混合模型是否可在无分量间分离假设下实现多项式时间学习？
• RQ2 是否存在一类通用分布，使得其通过矩方法的参数估计在多项式时间内可行？
• RQ3 能否利用代数几取证��工具建立具有多项式矩的参数族的可识别性与高效估计？
• RQ4 是否可将高维参数估计问题转化为一系列有界误差的低维估计？
• RQ5 该框架能否扩展至学习分布的乘积形式或高斯混合模型之外的其他结构化族？

主要发现

• 本文证明，任何属于多项式族的分布——涵盖大多数常见分布及其混合——均可在多项式时间与多项式样本数下被学习。
• 该方法实现了无任何分离假设的高维高斯混合模型的多项式可学习性，即使各分量均值相同但协方差不同时亦成立。
• 该算法采用确定性降维步骤，使可识别半径的保持因子为 1/n，从而实现稳定的参数恢复。
• 所需样本数与运行时间在维度 n 与分量数 k 上均为多项式，且不依赖于分离参数。
• 该框架适用于学习分布乘积，如由 d 维高斯混合构成的 k 组件混合的 n 维混合。
• 结果本身具有独立兴趣，并为代数几何在统计学习与矩基推断中的应用开辟了新途径。