[论文解读] Zonotope hit-and-run for efficient sampling from projection DPPs

Guillaume Gautier, Rémi Bardenet+1 more|arXiv (Cornell University)|May 30, 2017

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文提出了一种新颖的MCMC采样器，利用zonotopes和hit-and-run采样方法，通过将离散采样问题转化为凸zonotope上的连续问题，高效地从投影DPP（具有固定样本基数的DPP）中采样。该方法在混合速度和采样效率方面优于先前的方法，尤其在评估代价高昂的函数（如文本摘要）时更为有益，因为样本之间的相关性更低。

ABSTRACT

Determinantal point processes (DPPs) are distributions over sets of items that model diversity using kernels. Their applications in machine learning include summary extraction and recommendation systems. Yet, the cost of sampling from a DPP is prohibitive in large-scale applications, which has triggered an effort towards efficient approximate samplers. We build a novel MCMC sampler that combines ideas from combinatorial geometry, linear programming, and Monte Carlo methods to sample from DPPs with a fixed sample cardinality, also called projection DPPs. Our sampler leverages the ability of the hit-and-run MCMC kernel to efficiently move across convex bodies. Previous theoretical results yield a fast mixing time of our chain when targeting a distribution that is close to a projection DPP, but not a DPP in general. Our empirical results demonstrate that this extends to sampling projection DPPs, i.e., our sampler is more sample-efficient than previous approaches which in turn translates to faster convergence when dealing with costly-to-evaluate functions, such as summary extraction in our experiments.

研究动机与目标

• 为解决大规模机器学习应用中从投影DPP进行精确采样的高计算成本问题。
• 开发一种更高效的MCMC采样器，以减少样本间的相关性，并在评估昂贵函数时加速收敛。
• 利用从投影DPP的特征矩阵导出的zonotope的几何结构，在状态空间中实现全局移动。
• 通过线性规划改进现有的基变换MCMC链，以更有效地探索zonotope的剖分。

提出的方法

• 该方法将离散DPP采样松弛为在zonotope上的连续采样问题，zonotope是特征矩阵列的凸包，自然编码了DPP的结构。
• 它在zonotope上使用hit-and-run MCMC核，每一步都通过求解线性规划问题来找到通过当前点的随机弦。
• zonotope被划分为多个瓷砖，每个瓷砖对应一个唯一的DPP实现，采样器确保在这些瓷砖上保持均匀性。
• 该算法利用组合几何结果（Dyer & Frieze, 1994）确保zonotope在瓷砖上支持平坦分布，从而实现高效探索。
• 采用hit-and-run链的加权扩展以针对精确的投影DPP分布，通过线性规划引导移动，确保全局混合。
• 采样器通过高效的LP求解器（如通过CVXOPT调用的GLPK）实现，且链通过自适应初始化以改善收敛性。

实验结果

研究问题

• RQ1 zonotopes能否用于将离散DPP采样转化为具有更好混合特性的连续几何采样问题？
• RQ2 在zonotope上使用hit-and-run MCMC链是否比现有基变换MCMC链在投影DPP上具有更快的混合速度和更低的样本相关性？
• RQ3 在评估代价高昂的函数时，所提出的采样器在有效样本大小和收敛速度方面与最先进方法相比表现如何？
• RQ4 能否利用zonotope的几何结构设计一种更高效的MCMC核，以避免局部随机游走？

主要发现

• 所提出的MCMC采样器在相同迭代次数内比Anari等人（2016）的基变换链快约50%的混合速度，探索了更多唯一摘要。
• 在文本摘要实验中，该采样器在估计的Rouge-1F得分上表现出更低的方差，并且相比基线探索了50%更多的不同摘要，表明混合效果更好。
• 尽管由于线性规划导致每轮迭代的CPU时间更长，但更高的采样效率使得当被积函数（如Rouge-1F）的评估成本占主导时，收敛速度更快。
• 该方法在不同图结构上的性能表现稳定，而基变换链的性能则随图拓扑变化更大。
• 该方法的理论基础得到了现有关于凸体上hit-and-run混合时间的多项式界的支持，且实证结果表明其在实践中收敛更快。