[论文解读] Monte Carlo Markov Chain Algorithms for Sampling Strongly Rayleigh Distributions and Determinantal Point Processes

Nima Anari, Shayan Oveis Gharan+1 more|arXiv (Cornell University)|Feb 16, 2016

Markov Chains and Monte Carlo Methods参考文献 18被引用 13

一句话总结

本文提出了一种用于从强雷利分布（strongly Rayleigh distributions）中抽样的快速混合马尔可夫链蒙特卡洛（MCMC）算法，这类概率分布表现出强烈的负相关性。该方法通过利用强雷利测度的结构特性，证明了在 O(nk log(1/(εμ(S)))) 步内实现快速混合，从而高效生成 k-行列式点过程（k-determinantal point processes）的近似样本——这些过程在机器学习和组合优化中具有关键作用。

ABSTRACT

Strongly Rayleigh distributions are natural generalizations of product and determinantal probability distributions and satisfy strongest form of negative dependence properties. We show that the "natural" Monte Carlo Markov Chain (MCMC) is rapidly mixing in the support of a {\em homogeneous} strongly Rayleigh distribution. As a byproduct, our proof implies Markov chains can be used to efficiently generate approximate samples of a $k$-determinantal point process. This answers an open question raised by Deshpande and Rademacher.

研究动机与目标

• 开发一种针对强雷利分布的高效抽样算法，该分布是具有强负相关的乘积测度和行列式测度的推广。
• 解决关于 k-行列式点过程 MCMC 抽样效率的开放问题，此前已在 [Kan13, LJS15, RK15] 中研究过。
• 证明在齐次强雷利分布的支撑集上，自然的 MCMC 转移核能够实现快速混合，从而实现多项式时间内的近似抽样。
• 建立混合时间仅依赖于 n、k 和 μ(S) 的结论，并以最小转移概率为依据，给出明确的上界。
• 证明将强雷利分布截断至大小 k 后，其仍为强雷利分布，从而保持该方法的适用性。

提出的方法

• 在 k-齐次强雷利分布 μ 的支撑集上定义一个懒惰 MCMC 链，其中转移操作为以均匀随机方式交换一个元素的进出。
• 使用类似 Metropolis-Hastings 的接受概率：对于提议转移 T = S−i+j，接受概率为 min{1, μ(T)/μ(S)}。
• 利用 Brändén 所证明的支撑集构成拟阵基的事实，证明细致平衡性和不可约性。
• 通过利用负相关性及在转移图上应用最大流-最小割论证，对 Poincaré（谱）间隙进行有界。
• 利用流构造证明在 μ-分布子集之间存在单位流的 Hall 条件，从而确保谱间隙至少为 1/(2kn)。
• 推导出混合时间上界 τ_S(ε) ≤ (1/C_μ) · log(1/(ε·μ(S)))，其中 C_μ ≥ 1/(2kn)，从而在拥有 μ 的预言机访问权限下，实现 poly(n,k,log(1/ε)) 的运行时间。

实验结果

研究问题

• RQ1 能否证明强雷利分布的自然 MCMC 算法实现快速混合？
• RQ2 MCMC 方法是否能实现对 k-行列式点过程的高效近似抽样？
• RQ3 在 k-齐次强雷利分布支撑集上的 MCMC 链的混合时间是多少？
• RQ4 能否利用强雷利测度的结构特性，从下界控制 MCMC 链的谱间隙？
• RQ5 将强雷利分布截断至大小 k 后是否仍为强雷利分布？该性质是否保持抽样效率？

主要发现

• 针对 k-齐次强雷利分布的自然 MCMC 算法在 O(nk log(1/(ε·μ(S)))) 步内实现快速混合，从而提供 ε-近似样本。
• MCMC 链的谱间隙 C_μ 至少为 1/(2kn)，在 μ(S) 满足弱条件时确保快速混合。
• 该方法通过 MCMC 链实现了对 k-行列式点过程的高效近似抽样，解决了 [DR10] 中提出的开放问题。
• 将强雷利分布截断至大小 k 后仍保持强雷利性，从而保持 MCMC 方法的适用性。
• 证明依赖于负相关性及最大流-最小割论证，以验证转移图上的 Hall 条件。
• 在拥有 μ(S) 的预言机访问权限下，该算法运行时间为 poly(n,k,log(1/ε))，使其在组合与概率应用中具有实际效率。