[论文解读] Multi-agent Reinforcement Learning Accelerated MCMC on Multiscale Inversion Problem

Eric T. Chung, Yalchin Efendiev+3 more|arXiv (Cornell University)|Nov 17, 2020

Advanced Mathematical Modeling in Engineering参考文献 44被引用 14

一句话总结

本文提出了一种多智能体演员-critic强化学习（RL）框架，以加速多尺度反问题中的多水平蒙特卡洛马尔可夫链（MCMC）采样。通过使用RL策略生成提议，并由集中式评论家估计长期奖励，该方法显著提升了采样效率和收敛速度，尤其在结合$\epsilon$-greedy策略时表现更优，这在具有高对比度渗透率场的时间依赖性流反问题中得到了验证。

ABSTRACT

In this work, we propose a multi-agent actor-critic reinforcement learning (RL) algorithm to accelerate the multi-level Monte Carlo Markov Chain (MCMC) sampling algorithms. The policies (actors) of the agents are used to generate the proposal in the MCMC steps; and the critic, which is centralized, is in charge of estimating the long term reward. We verify our proposed algorithm by solving an inverse problem with multiple scales. There are several difficulties in the implementation of this problem by using traditional MCMC sampling. Firstly, the computation of the posterior distribution involves evaluating the forward solver, which is very time consuming for a problem with heterogeneous. We hence propose to use the multi-level algorithm. More precisely, we use the generalized multiscale finite element method (GMsFEM) as the forward solver in evaluating a posterior distribution in the multi-level rejection procedure. Secondly, it is hard to find a function which can generate samplings which are meaningful. To solve this issue, we learn an RL policy as the proposal generator. Our experiments show that the proposed method significantly improves the sampling process

研究动机与目标

• 为解决多尺度反问题中MCMC采样存在的计算瓶颈，其中前向求解器计算成本过高。
• 克服在MCMC中设计有效提议分布的挑战，通过强化学习学习提议分布。
• 将多层级MCMC与深度强化学习相结合，利用粗尺度求解器降低计算成本。
• 提升在高对比度、多尺度渗透率场反问题中的采样效率和收敛速度。
• 在具有通道化特征的时间依赖性抛物型PDE反问题上验证所提方法。

提出的方法

• 设计了一种多智能体演员-critic RL框架，其中每个智能体学习一个策略（演员）以利用局部状态信息生成MCMC提议。
• 集中式评论家使用全局信息估计长期奖励，从而实现高效的策略优化。
• 广义多尺度有限元方法（GMsFEM）被用作多层级MCMC框架中的前向求解器，以加速粗尺度计算。
• 通过在较粗层级提前拒绝提议，加速MCMC接受过程，避免昂贵的精细尺度计算。
• 采用$\epsilon$-greedy策略平衡探索与利用，其中以概率$p$使用RL策略，以概率$1-p$使用随机游走。
• 使用经验回放和目标网络以稳定训练，奖励通过最粗层级的前向求解器计算，以减少计算量。

实验结果

研究问题

• RQ1 多智能体深度强化学习能否提升多尺度反问题中MCMC采样的效率？
• RQ2 与传统的随机游走或基于核的提议相比，使用RL生成的提议在收敛速度方面表现如何？
• RQ3 在高对比度渗透率场反问题中，结合GMsFEM的多层级MCMC框架在多大程度上降低了计算成本？
• RQ4 $\epsilon$-greedy策略对RL加速MCMC框架中的采样质量和收敛性有何影响？
• RQ5 具有去中心化演员的集中式评论家能否在复杂多尺度反问题中有效学习到有效的提议分布？

主要发现

• RLMCMC方法将MCMC步数从标准MCMC的383步减少到174步，显著提升了收敛速度。
• 采用$\epsilon$-greedy策略的eRLMCMC变体通过延长采样轨迹实现了更好的收敛性，尽管总计算时间更长。
• eRLMCMC的总计算时间为13,472.4秒，高于RLMCMC的6,062.4秒，这是由于更大的$\epsilon$值导致更多拒绝。
• 在多层级MCMC框架中使用GMsFEM实现了高效的粗尺度计算，加速了拒绝过程。
• 具有去中心化演员的集中式评论家成功学习到了优于标准随机游走提议的提议策略，提升了采样效率。
• 该方法在具有对角通道化渗透率场的时间依赖性流反问题中表现出色，显示出在高对比度环境下的鲁棒性。