[论文解读] A Polynomial Time MCMC Method for Sampling from Continuous DPPs

Shayan Oveis Gharan, Alireza Rezaei|arXiv (Cornell University)|Oct 20, 2018

Markov Chains and Monte Carlo Methods参考文献 25被引用 4

一句话总结

本论文提出了首个针对连续k-行列式点过程（k-DPPs）的多项式时间马尔可夫链蒙特卡洛（MCMC）方法，采用吉布斯采样器，并在温暖初始条件下实现了可证明的快速混合。研究证明吉布斯采样器的混合时间为多项式时间（poly(k)步），并基于此构建了在d维单位球面上使用球形高斯核的k-DPPs高效采样算法，运行时间在k和d上均为多项式。

ABSTRACT

We study the Gibbs sampling algorithm for continuous determinantal point processes. We show that, given a warm start, the Gibbs sampler generates a random sample from a continuous $k$-DPP defined on a $d$-dimensional domain by only taking $ ext{poly}(k)$ number of steps. As an application, we design an algorithm to generate random samples from $k$-DPPs defined by a spherical Gaussian kernel on a unit sphere in $d$-dimensions, $\mathbb{S}^{d-1}$ in time polynomial in $k,d$.

研究动机与目标

• 为解决连续k-DPPs高效采样算法的设计问题，尽管其在机器学习和物理领域被广泛使用，但目前仍缺乏此类具有理论保证的方法。
• 分析连续k-DPPs的吉布斯采样器的混合时间，并在温暖初始条件下建立其快速收敛性。
• 为定义在d维单位球面上的球形高斯核的k-DPPs开发一种实用的采样算法。
• 基于谱论与几何论证，提供吉布斯采样器在连续k-DPPs上的导通率与混合时间的理论界。
• 证明当核满足特定谱条件时，吉布斯采样器可实现多项式混合时间，尤其针对球形高斯核。

提出的方法

• 本文采用吉布斯采样器作为MCMC方法：在每一步中，从当前k个点的集合中随机均匀地移除一个点，并以与更新后核矩阵行列式成比例的概率替换为一个新点y。
• 通过导通率界分析混合时间，利用导通率与目标k-DPP分布的总变差距离之间的关系。
• 分析依赖于连续核算子的谱分解，特别是球形高斯核，并利用默瑟定理将特征值与投影算子的迹联系起来。
• 通过将特征向量在当前点集补集上的正交投影的迹，推导出一次吉布斯步骤后期望行列式比的下界。
• 对于球形高斯核，利用球面上已知的特征值渐近性质，对尾部特征值之和进行有界，确保在σ和d满足特定条件时，期望行列式增加量具有常数下界。
• 通过证明当σ ≤ 1/(2√log k)时，期望行列式比被远离零所限制，从而实现多项式混合时间，将该方法具体应用于球形高斯核。

实验结果

研究问题

• RQ1 在温暖初始条件下，能否证明连续k-DPPs的吉布斯采样器可在多项式时间内混合？
• RQ2 核的何种谱或几何条件可确保连续k-DPPs的吉布斯采样器实现快速混合？
• RQ3 能否为具有球形高斯核的连续k-DPPs设计一个可证明高效的采样算法？
• RQ4 吉布斯更新后，期望行列式比的行为如何？能否从中获得下界以确保快速混合？
• RQ5 对于球形高斯核，连续k-DPPs的混合时间对k和d的依赖关系如何？

主要发现

• 连续k-DPPs的吉布斯采样器在温暖初始条件下混合时间为O(k⁴) · log(var(π/μ₀)/ε)，建立了多项式混合时间。
• 对于单位球面S^{d−1}上的球形高斯核，当σ ≤ 1/(2√log k)时，吉布斯采样器实现多项式混合时间，混合时间界为poly(k, d)。
• 当σ ≤ 1/(2√log k)时，吉布斯步骤后的期望行列式比具有远离零的下界，确保良好的导通率与快速混合。
• 在相同条件下，球形高斯核算子的尾部特征值之和有Ω(1)的下界，这对导通率界至关重要。
• 该方法为连续k-DPPs提供了首个基于MCMC、具有可证明多项式时间保证的采样算法，填补了文献中的关键空白。
• 对于球形高斯核，该算法在k和d上均为多项式时间，使其在各类采样任务中具有实际应用的高效性。