[论文解读] Fast Mixing for Discrete Point Processes

Patrick Rebeschini, Amin Karbasi|arXiv (Cornell University)|Jun 6, 2015

Markov Chains and Monte Carlo Methods参考文献 11被引用 12

一句话总结

该论文通过在多布拉辛唯一性条件下分析集合函数的黑塞矩阵，提出了一种用于离散点过程中马尔可夫链蒙特卡洛（MCMC）方法快速混合的新准则。研究表明，当黑塞矩阵有界且逆温度 $\beta$ 足够小时，MCMC 算法可实现与系统规模 $n$ 无关的误差界，其显式条件涉及黑塞矩阵的谱范数与 $\beta$。该结果被专门应用于子模函数，包括行列式点过程和设施选址模型。

ABSTRACT

We investigate the systematic mechanism for designing fast mixing Markov chain Monte Carlo algorithms to sample from discrete point processes under the Dobrushin uniqueness condition for Gibbs measures. Discrete point processes are defined as probability distributions $μ(S)\propto \exp(βf(S))$ over all subsets $S\in 2^V$ of a finite set $V$ through a bounded set function $f:2^V ightarrow \mathbb{R}$ and a parameter $β>0$. A subclass of discrete point processes characterized by submodular functions (which include log-submodular distributions, submodular point processes, and determinantal point processes) has recently gained a lot of interest in machine learning and shown to be effective for modeling diversity and coverage. We show that if the set function (not necessarily submodular) displays a natural notion of decay of correlation, then, for $β$ small enough, it is possible to design fast mixing Markov chain Monte Carlo methods that yield error bounds on marginal approximations that do not depend on the size of the set $V$. The sufficient conditions that we derive involve a control on the (discrete) Hessian of set functions, a quantity that has not been previously considered in the literature. We specialize our results for submodular functions, and we discuss canonical examples where the Hessian can be easily controlled.

研究动机与目标

• 解决设计用于具有难以计算的划分函数的离散点过程的快速混合MCMC算法的挑战。
• 克服现有变分方法在系统规模 $n$ 增大时边际近似误差呈指数恶化的问题。
• 建立一个依赖于集合函数 $f$ 的离散黑塞矩阵的一般快速混合条件，这是MCMC和概率推理中此前未被探索的量。
• 为子模和对数子模分布（包括行列式点过程和设施选址模型）提供一个适用的框架。
• 推导出与基集 $V$ 的大小 $n = |V|$ 无关的边际近似误差界。

提出的方法

• 将离散点过程定义为 $\mu(S) \propto \exp(\beta f(S))$，其中 $S \subseteq V$，$f: 2^V \to \mathbb{R}$ 有界且 $\beta > 0$。
• 引入离散黑塞矩阵 $\Delta_i\Delta_j f(S)$ 作为 $f$ 的二阶差分，并定义 $M_{ij} = \max_{S \not\ni i,j} |\Delta_j\Delta_i f(S)|$。
• 建立吉布斯采样快速混合的充分条件：$\alpha(\beta)\beta\|M\|_\infty < \gamma < 1$，其中 $\alpha(\beta) = \max_i \max_S e^{-\beta \Delta_i f(S)}$ 且 $\|M\|_\infty = \max_i \sum_j M_{ij}$。
• 将该条件特化到子模函数情形，此时 $\Delta_i\Delta_j f(S) \leq 0$，使基于黑塞矩阵的判据得以简化。
• 将一般准则应用于典型例子：设施选址、割函数、对数行列式函数（用于DPPs）以及可分解函数，表明黑塞矩阵的控制是可处理的。
• 利用多布拉辛唯一性条件，保证吉布斯采样的几何遍历性和快速混合。

实验结果

研究问题

• RQ1 能否推导出一种适用于离散点过程的通用快速混合MCMC准则，且其性能不随系统规模 $n$ 恶化？
• RQ2 集合函数 $f$ 的离散黑塞矩阵在决定混合时间方面起什么作用？它能否作为控制参数使用？
• RQ3 对于子模和对数子模分布，基于黑塞矩阵的条件能否导出显式的、与规模无关的边际近似误差界？
• RQ4 在行列式点过程和设施选址等典型模型中，黑塞矩阵条件能否被高效计算或有界？
• RQ5 子模性本身是否足以保证快速混合，还是需要对黑塞矩阵施加更强的条件？

主要发现

• 该论文建立了吉布斯采样在离散点过程中快速混合的充分条件：$\alpha(\beta)\beta\|M\|_\infty < \gamma < 1$，其中 $\|M\|_\infty$ 是黑塞矩阵 $M$ 的最大行和。
• 对于子模函数，该条件得以简化且依然有效，表明子模性本身不足以保证快速混合，而黑塞矩阵的控制是必要的。
• 从MCMC方法导出的边际近似误差界与系统规模 $n = |V|$ 无关，这相比随 $n$ 增大而性能急剧下降的变分方法是一个显著改进。
• 在行列式点过程（$f(S) = \log \det(L_S)$）中，可利用矩阵恒等式对黑塞矩阵 $\Delta_i\Delta_j f(S)$ 进行有界，从而可显式验证混合条件。
• 对于设施选址和割函数，黑塞项的有界性由与 $n$ 无关的常数控制，使得混合条件的验证不会引发组合爆炸。
• 该框架适用于对数子模和子模点过程，且该基于黑塞矩阵的判据是首次在该背景下明确关联到MCMC混合的准则。