[论文解读] A Neural Network MCMC sampler that maximizes Proposal Entropy

Zengyi Li, Yubei Chen+1 more|arXiv (Cornell University)|Oct 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 4

一句话总结

本文提出一种基于神经网络的MCMC采样器，通过最大化提议分布的熵来增强在复杂、高维分布中的探索能力。通过使用基于梯度的、可微分的提议网络，并采用熵最大化进行训练，该方法在采样效率方面显著提升——相比HMC和Langevin动力学，每一步Metropolis-Hastings采样可实现高达32倍的有效样本量提升，尤其在漏斗形分布等复杂几何结构中表现突出。

ABSTRACT

Markov Chain Monte Carlo (MCMC) methods sample from unnormalized probability distributions and offer guarantees of exact sampling. However, in the continuous case, unfavorable geometry of the target distribution can greatly limit the efficiency of MCMC methods. Augmenting samplers with neural networks can potentially improve their efficiency. Previous neural network based samplers were trained with objectives that either did not explicitly encourage exploration, or used a L2 jump objective which could only be applied to well structured distributions. Thus it seems promising to instead maximize the proposal entropy for adapting the proposal to distributions of any shape. To allow direct optimization of the proposal entropy, we propose a neural network MCMC sampler that has a flexible and tractable proposal distribution. Specifically, our network architecture utilizes the gradient of the target distribution for generating proposals. Our model achieves significantly higher efficiency than previous neural network MCMC techniques in a variety of sampling tasks. Further, the sampler is applied on training of a convergent energy-based model of natural images. The adaptive sampler achieves unbiased sampling with significantly higher proposal entropy than Langevin dynamics sampler.

研究动机与目标

• 解决MCMC采样器在高维、几何结构复杂的分布中效率低下的问题。
• 通过显式优化提议熵而非依赖间接目标，提升MCMC中的探索速度。
• 设计一种既灵活又可微分的神经网络提议分布，以支持直接的熵优化。
• 实现可扩展的、对几何结构不敏感的采样，且无需计算难以处理的Hessian矩阵（如Riemann流形HMC中所要求的）。
• 证明该方法在降低深度能量基模型训练采样成本方面的有效性。

提出的方法

• 采样器使用神经网络参数化提议分布，其输入为当前状态和目标对数密度的梯度。
• 提议分布被设计为灵活且可微分，从而支持对熵目标的直接优化。
• 模型通过损失函数进行训练，该损失函数旨在最大化提议分布的熵，以促进状态空间的广泛探索。
• 该方法利用目标分布的梯度引导提议生成，类似于HMC，但采用学习得到的、自适应的动力学机制。
• 通过Metropolis-Hastings接受-拒绝步骤，确保尽管提议存在近似，仍能实现精确采样。
• 该架构支持非对称提议，从而在高能与低能区域之间实现高效混合，例如在漏斗形分布中。

实验结果

研究问题

• RQ1 在复杂、非椭球形的目标分布中，最大化提议熵是否能带来更高效的MCMC探索？
• RQ2 能否设计一种神经网络提议分布，使其熵最大化既可计算又可直接优化？
• RQ3 在高维、偏斜分布中，该提议采样器与HMC和Langevin动力学相比，在有效样本量和混合性能方面表现如何？
• RQ4 该熵最大化采样器是否能减少训练深度能量基模型所需的采样步数和梯度评估次数？
• RQ5 在高维、真实世界数据分布中，学习得到的采样器是否能在训练过程中保持较高的提议熵？

主要发现

• 在20维漏斗分布上，该采样器每步Metropolis-Hastings采样可获得0.256的有效样本，而HMC仅为0.0079，采样效率提升达32倍。
• 在贝叶斯逻辑回归任务中，该方法在有效样本量和收敛速度方面显著优于以往的神经网络MCMC方法。
• 该采样器在牛津花卉数据集上实现了深度能量基模型的稳定训练，每轮EBM更新仅需80次梯度评估（相当于约280次Langevin步长），而此前工作需500次步长。
• 在整个训练过程中，学习得到的采样器保持的提议熵显著高于自适应MALA，表明其具备更优的探索能力。
• 可视化结果表明，该采样器能产生大范围、罕见的跃迁（如在高能与低能状态之间），而基线方法则无法实现，证实其混合性能更优。
• 该方法成功处理了非对称和多模态分布，具备生成非对称提议的能力，从而能高效跨越能量壁垒。