[论文解读] Learning Mixtures of Gaussians Using the DDPM Objective

Kulin Shah, Sitan Chen+1 more|arXiv (Cornell University)|Jul 3, 2023

Gaussian Processes and Bayesian InferenceComputer Science被引用 3

一句话总结

本文首次为使用DDPM目标学习球面高斯混合模型提供了可证明高效的梯度下降算法。研究表明，通过随机初始化，可以恢复中心间距为 $1/\text{poly}(d)$ 的两分量混合模型；通过热启动，可以学习到中心间距为 $\Omega(\sqrt{\log(\min(K,d))})$ 的 $K$-分量混合模型，从而建立了基于得分的扩散方法与经典方法（如EM和谱学习）之间的新联系。

ABSTRACT

Recent works have shown that diffusion models can learn essentially any distribution provided one can perform score estimation. Yet it remains poorly understood under what settings score estimation is possible, let alone when practical gradient-based algorithms for this task can provably succeed. In this work, we give the first provably efficient results along these lines for one of the most fundamental distribution families, Gaussian mixture models. We prove that gradient descent on the denoising diffusion probabilistic model (DDPM) objective can efficiently recover the ground truth parameters of the mixture model in the following two settings: 1) We show gradient descent with random initialization learns mixtures of two spherical Gaussians in $d$ dimensions with $1/ ext{poly}(d)$-separated centers. 2) We show gradient descent with a warm start learns mixtures of $K$ spherical Gaussians with $Ω(\sqrt{\log(\min(K,d))})$-separated centers. A key ingredient in our proofs is a new connection between score-based methods and two other approaches to distribution learning, the EM algorithm and spectral methods.

研究动机与目标

• 为在学习高斯混合模型时，基于DDPM目标的梯度下降提供可证明的收敛保证。
• 弥合分数估计理论与扩散模型在结构化分布上实际训练之间的差距。
• 证明在较弱分离条件下，梯度下降可高效恢复混合模型参数。
• 将基于得分的扩散学习与经典分布学习方法（如EM和谱方法）相连接。

提出的方法

• 在DDPM目标上使用梯度下降以估计高斯混合模型的得分函数。
• 分析总体梯度下降动力学，证明其收敛至真实的混合模型参数。
• 通过得分估计，建立DDPM目标与EM算法之间的理论联系。
• 利用谱方法分析低噪声情形，并推导出分离边界。
• 证明经验梯度足以实现收敛，确保方法的实际适用性。
• 提出一种新颖的分析框架，将基于得分的生成建模与经典统计学习技术相连接。

实验结果

研究问题

• RQ1 在DDPM目标上使用梯度下降，能否可证明地恢复中心间距为多项式分离的两分量球面高斯混合模型的参数？
• RQ2 当初始化接近真实参数时，DDPM目标是否能实现对 $K$-分量球面高斯混合模型的可证明恢复？
• RQ3 基于DDPM的得分估计方法与EM和谱方法等经典方法有何关联？
• RQ4 通过在DDPM目标上使用梯度下降实现高效恢复，混合分量之间的最小分离距离是多少？
• RQ5 在DDPM目标上使用经验梯度下降能否实现与总体分析相同的收敛保证？

主要发现

• 使用随机初始化的梯度下降可高效学习中心间距为 $1/\text{poly}(d)$ 的两分量球面高斯混合模型。
• 通过热启动，DDPM目标上的梯度下降可学习到中心间距为 $\Omega(\sqrt{\log(\min(K,d))})$ 的 $K$-分量球面高斯混合模型。
• 收敛过程具有可证明的高效性，样本复杂度和运行时间均为 $d$、$1/\varepsilon$ 和 $K$ 的多项式函数。
• 在高斯混合学习背景下，首次建立了基于得分的扩散与EM算法之间的理论联系。
• 分析表明，经验梯度足以实现收敛，验证了该方法的实用性。
• 本工作首次实现了对基础分布族——高斯混合模型——的基于梯度的得分估计的可证明成功。