[论文解读] Efficient computation of the volume of a polytope in high-dimensions using Piecewise Deterministic Markov Processes

Augustin Chevallier, Frédéric Cazals+1 more|arXiv (Cornell University)|Feb 18, 2022

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文提出了一种基于分段确定性马尔可夫过程（PDMP）的新采样方法，可高效计算高维多面体的体积。通过利用分段线性轨迹，该方法相比哈密顿蒙特卡洛（HMC）将计算成本降低了维度数量级，实现了最高达10倍的加速，使得在单核处理器上对维度高达500的多面体在数分钟内完成体积计算成为可能。

ABSTRACT

Computing the volume of a polytope in high dimensions is computationally challenging but has wide applications. Current state-of-the-art algorithms to compute such volumes rely on efficient sampling of a Gaussian distribution restricted to the polytope, using e.g. Hamiltonian Monte Carlo. We present a new sampling strategy that uses a Piecewise Deterministic Markov Process. Like Hamiltonian Monte Carlo, this new method involves simulating trajectories of a non-reversible process and inherits similar good mixing properties. However, importantly, the process can be simulated more easily due to its piecewise linear trajectories - and this leads to a reduction of the computational cost by a factor of the dimension of the space. Our experiments indicate that our method is numerically robust and is one order of magnitude faster (or better) than existing methods using Hamiltonian Monte Carlo. On a single core processor, we report computational time of a few minutes up to dimension 500.

研究动机与目标

• 解决估计高维多面体体积的计算挑战，该问题属于#P难问题，在统计学、物理学、系统生物学、机器人学和人工智能中具有重要意义。
• 克服现有基于采样的体积计算算法的局限性，这些算法在高维下面临高昂的计算成本和数值不稳定性。
• 开发一种新型采样策略，其具备类似HMC的良好混合特性，但通过采用更简单的分段线性轨迹降低计算复杂度。
• 通过消除HMC中使用的昂贵反三角函数，提升数值鲁棒性，这些函数易受精度误差影响。
• 证明所提出的PDMP方法在实际高维场景下相比最先进HMC方法具有更快的收敛速度和更低的误差率。

提出的方法

• 提出一种分段确定性马尔可夫过程（PDMP），在多面体内模拟确定性的分段线性轨迹，并在泊松分布时间点随机刷新速度。
• 利用PDMP从一系列受限于收缩凸体（如多面体）的高斯分布中采样，实现体积的级数乘积估计。
• 将PDMP采样器集成到冷却调度框架中，使目标分布从宽泛的高斯分布逐步演化为多面体上的均匀分布。
• 实现一种无拒绝的采样机制，避免了Hit-and-Run方法的角落卡顿问题以及HMC中曲线轨迹带来的数值不稳定性。
• 通过调节刷新率（λ_refresh）和输出率（λ_output）优化采样过程，并在后续阶段通过重要性采样复用先前采样的点。
• 在速度刷新中用更高效的替代方法替代计算成本高昂的矩阵-向量乘积，进一步降低计算成本。

实验结果

研究问题

• RQ1 基于PDMP的采样策略是否能在高维多面体体积计算中实现比哈密顿蒙特卡洛（HMC）更快的收敛速度和更低的计算成本？
• RQ2 PDMP中使用分段线性轨迹是否能消除对昂贵反三角函数的需求，从而相比HMC提升数值鲁棒性？
• RQ3 该方法在维度增加时性能扩展程度如何，特别是在维度超过100时？
• RQ4 与使用球体而非高斯分布的替代冷却调度相比，基于PDMP的方法在方差和准确性方面表现如何？
• RQ5 PDMP框架能否适配具有分段C¹边界其他凸体？与HMC相比，实际性能提升如何？

主要发现

• 基于PDMP的方法相比最先进HMC方法在单核处理器上实现了超过一个数量级（最高达10倍）的加速。
• 使用PDMP方法可在数分钟内完成维度高达500的多面体体积估计，证明了其在高维场景下的可扩展性。
• 该方法表现出更优的数值鲁棒性：采样过程中无需多精度精化，而HMC因边界相交计算中的数值不稳定性，频繁触发此类精化。
• 体积估计的相对误差保持在10%以内，且样本数量仅为HMC的十倍，表明其具有稳定的收敛特性。
• PDMP采样器避免在轨迹-边界相交计算中使用反正切函数，消除了HMC中存在的一大数值误差和计算成本来源。
• 该实现已在GitHub公开，支持可复现性，并可与现有方法进行进一步基准测试。