[论文解读] A survey of Monte Carlo methods for noisy and costly densities with application to reinforcement learning and ABC

Fernando Llorente, Luca Martino+2 more|arXiv (Cornell University)|Aug 1, 2021

Probabilistic and Robust Engineering Design参考文献 79被引用 9

一句话总结

本文综述了在强化学习和似然-free设置中，针对噪声大、计算成本高或难以处理的后验密度，使用代理模型的蒙特卡洛方法。通过用基于回归的代理模型替代昂贵或噪声较大的密度评估，该方法提高了采样效率和估计精度，数值结果表明DA-PM-MH和MH-S方案在边缘密度估计和最小均方误差估计方面优于标准PM-MH。

ABSTRACT

This survey gives an overview of Monte Carlo methodologies using surrogate models, for dealing with densities which are intractable, costly, and/or noisy. This type of problem can be found in numerous real-world scenarios, including stochastic optimization and reinforcement learning, where each evaluation of a density function may incur some computationally-expensive or even physical (real-world activity) cost, likely to give different results each time. The surrogate model does not incur this cost, but there are important trade-offs and considerations involved in the choice and design of such methodologies. We classify the different methodologies into three main classes and describe specific instances of algorithms under a unified notation. A modular scheme which encompasses the considered methods is also presented. A range of application scenarios is discussed, with special attention to the likelihood-free setting and reinforcement learning. Several numerical comparisons are also provided.

研究动机与目标

• 提供一个统一的框架，用于整合使用代理模型来处理噪声大、成本高或难以处理的后验密度的蒙特卡洛方法。
• 根据代理模型在MCMC和重要性采样中的应用，将现有方法分类为三大类。
• 评估代理模型方法在真实场景中的性能，特别是在强化学习和似然-free推断（ABC）中的表现。
• 证明代理模型通过作为自适应、非参数提议分布，能够平滑噪声评估，从而提高采样效率。
• 强调代理模型设计中的权衡，并表明糟糕的代理模型构建会降低性能，尤其是在算法早期迭代中。

提出的方法

• 本文提出一个模块化框架，使用统一的符号表示MCMC和IS算法，将基于代理模型的蒙特卡洛方法统一起来。
• 将方法分为三类：代理辅助MCMC（如MH-S）、代理辅助重要性采样，以及基于代理的伪边际MCMC（如DA-PM-MH）。
• 通过回归（如最近邻插值）构建代理模型，以近似难以处理或带有噪声的目标密度，从而减少对昂贵评估的依赖。
• 代理模型用于提出新状态或计算重要性权重，并在伪边际方案中通过校正步骤保持精确性。
• 数值实验中采用K=100的最近邻代理模型，通过采样点和噪声评估迭代更新代理模型。
• 该框架支持静态批量和序列设置，并扩展至强化学习和ABC应用。

实验结果

研究问题

• RQ1 如何系统性地将代理模型整合到蒙特卡洛算法中，以处理噪声大和成本高的后验密度？
• RQ2 代理辅助MCMC、代理辅助重要性采样和基于代理的伪边际MCMC之间的关键差异和权衡是什么？
• RQ3 在高成本或噪声大的推断场景中，使用代理模型如何提高采样效率和估计精度？
• RQ4 糟糕的代理模型构建，尤其是在算法早期迭代中，会产生怎样的性能影响？
• RQ5 在强化学习和似然-free推断中，基于代理模型的方法在多大程度上优于标准蒙特卡洛方法？

主要发现

• 在双极平衡问题中，DA-PM-MH算法在边缘密度近似方面略优于标准PM-MH和MH-S方案。
• DA-PM-MH的MMSE估计值（θ₁ = -5.7748，θ₆ = 5.2058）比MH-S和标准PM-MH更接近真实值（T=10⁶的PM-MH）。
• 代理模型作为自适应、非参数提议分布，通过利用空间信息和噪声评估信息，改善了探索能力。
• 构建不良的代理模型——尤其是高概率区域值过低的代理模型——会降低性能，尤其是在早期迭代中。
• 伪边际方案中的校正步骤增强了鲁棒性，使其比朴素的代理方法更可靠。
• 数值结果证实，当精确评估不可行时，基于代理模型的方法在高成本或噪声大的推断中显著提升了效率。