[论文解读] Automating Involutive MCMC using Probabilistic and Differentiable Programming

Marco Cusumano-Towner, Alexander K. Lew+1 more|arXiv (Cornell University)|Jul 20, 2020

Bayesian Methods and Mixture Models参考文献 32被引用 5

一句话总结

本文提出一种使用概率编程与可微编程自动实现对合MCMC核的方法，可在复杂状态空间中实现正确且高效的采样。通过将目标分布和辅助分布指定为概率程序，将变换指定为可微程序，该框架可自动计算接受概率、检测错误，并利用稀疏性实现性能提升。

ABSTRACT

Involutive MCMC is a unifying mathematical construction for MCMC kernels that generalizes many classic and state-of-the-art MCMC algorithms, from reversible jump MCMC to kernels based on deep neural networks. But as with MCMC samplers more generally, implementing involutive MCMC kernels is often tedious and error-prone, especially when sampling on complex state spaces. This paper describes a technique for automating the implementation of involutive MCMC kernels given (i) a pair of probabilistic programs defining the target distribution and an auxiliary distribution respectively and (ii) a differentiable program that transforms the execution traces of these probabilistic programs. The technique, which is implemented as part of the Gen probabilistic programming system, also automatically detects user errors in the specification of involutive MCMC kernels and exploits sparsity in the kernels for improved efficiency. The paper shows example Gen code for a split-merge reversible jump move in an infinite Gaussian mixture model and a state-dependent mixture of proposals on a combinatorial space of covariance functions for a Gaussian process.

研究动机与目标

• 简化对合MCMC核的实现，因其数学上强大但手动实现繁琐且易出错。
• 通过在概率程序轨迹上应用自动微分，实现MCMC中接受概率的自动计算。
• 通过验证对合是否为自身逆映射及变换是否保持测度一致性，检测对合MCMC规格中的数学不一致。
• 通过分析对合变换中的稀疏性，优化性能。
• 将该方法推广至贝叶斯推断中常见的复杂结构化状态空间，如组合模型空间。

提出的方法

• 该方法将目标分布和辅助分布定义为在基于轨迹的状态空间上执行的概率程序，将执行轨迹形式化为键值存储。
• 将对合编码为可微程序，用于变换概率程序的轨迹，确保其双射性与可微性。
• 使用自动微分计算Metropolis-Hastings接受比所需的雅可比行列式。
• 通过验证变换是否为对合（即其自身逆）以及变换是否保持测度一致性，检测规格错误。
• 通过分析哪些轨迹元素被修改，利用对合中的稀疏性，将计算复杂度从O(N³)降低至O(1)，在有利情况下显著提升效率。
• 该方法在Gen概率编程系统中实现，并在无限高斯混合模型和高斯过程协方差结构上进行了演示。

实验结果

研究问题

• RQ1 能否从目标分布和辅助分布的声明式规格以及可微变换中自动实现对合MCMC核？
• RQ2 如何利用自动微分在具有复杂结构化状态空间的MCMC中正确计算接受概率？
• RQ3 应采用何种机制检测对合MCMC核规格中的数学错误，如错误的对合或密度不匹配？
• RQ4 在何种情况下，对合变换中的稀疏性可带来MCMC采样性能的显著提升？
• RQ5 该框架能否推广至高级MCMC技术，如状态依赖混合与神经提议网络？

主要发现

• 该框架通过微分轨迹变换自动计算对合MCMC的正确接受概率，消除了手动推导雅可比行列式的需要。
• 系统通过验证变换是否为对合且轨迹间密度一致，检测对合MCMC核的规格错误。
• 通过利用对合中的稀疏性，该方法在某些情况下将核应用的计算成本从O(N³)降低至O(1)，显著提升效率。
• 该方法成功自动实现复杂移动（如分裂-合并可逆跳跃MCMC）于无限高斯混合模型中，接受概率自动处理。
• 该方法实现了在组合空间（如高斯过程协方差函数的解析树）上高效的状态依赖提议混合，自动计算概率比。
• 在Gen中的实现已应用于计算生物学与人工智能等实际应用，证明了其实际效用与可扩展性。