[论文解读] Bayesian Sequential Optimal Experimental Design for Nonlinear Models Using Policy Gradient Reinforcement Learning

Wanggang Shen, Xun Huan|arXiv (Cornell University)|Oct 28, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 96被引用 8

一句话总结

该论文提出了一种基于策略梯度强化学习的贝叶斯序列最优实验设计（sOED）框架，用于非线性模型，将sOED建模为具有信息论效用的有限horizon部分可观察马尔可夫决策过程（POMDP）。该研究推导出一种新颖的策略梯度表达式，并采用演员-评论家深度学习方法，学习具备前瞻意识的自适应设计策略，在污染源反演问题中优于批量设计和贪心设计。

ABSTRACT

We present a mathematical framework and computational methods to optimally design a finite number of sequential experiments. We formulate this sequential optimal experimental design (sOED) problem as a finite-horizon partially observable Markov decision process (POMDP) in a Bayesian setting and with information-theoretic utilities. It is built to accommodate continuous random variables, general non-Gaussian posteriors, and expensive nonlinear forward models. sOED then seeks an optimal design policy that incorporates elements of both feedback and lookahead, generalizing the suboptimal batch and greedy designs. We solve for the sOED policy numerically via policy gradient (PG) methods from reinforcement learning, and derive and prove the PG expression for sOED. Adopting an actor-critic approach, we parameterize the policy and value functions using deep neural networks and improve them using gradient estimates produced from simulated episodes of designs and observations. The overall PG-sOED method is validated on a linear-Gaussian benchmark, and its advantages over batch and greedy designs are demonstrated through a contaminant source inversion problem in a convection-diffusion field.

研究动机与目标

• 开发一种计算高效的自适应实验设计方法，适用于具有高维、非高斯后验分布和昂贵前向模型的非线性模型。
• 通过基于原则的序列设计框架，结合反馈与前瞻，克服批量设计和贪心设计的局限性。
• 将序列OED建模为具有连续状态、动作和观测的有限horizon POMDP，实现在不确定条件下的最优策略学习。
• 推导并验证适用于sOED的策略梯度表达式，实现通过强化学习对可微分设计策略的端到端训练。
• 在复杂、现实世界的反问题中，展示所提方法相较于传统批量和贪心设计的优越性。

提出的方法

• 将序列OED建模为基于期望KL散度的信息论奖励的有限horizon部分可观察马尔可夫决策过程（POMDP）。
• 通过递归贝尔曼方程和信念状态上的链式法则传播，推导出sOED的闭式策略梯度表达式。
• 采用演员-评论家强化学习框架，使用深度神经网络参数化策略函数和价值函数。
• 利用模拟轨迹生成策略和价值函数更新的梯度估计，实现样本高效的优化。
• 在每一步集成贝叶斯推理以更新信念状态，保持对未知参数的后验分布。
• 在线性高斯基准问题和非线性对流-扩散污染源反演问题上应用该方法以进行验证。

实验结果

研究问题

• RQ1 基于策略梯度强化学习的方法能否有效学习复杂、非高斯后验分布的非线性模型的最优序列实验设计？
• RQ2 所提出的具有前瞻与反馈机制的sOED方法在信息增益和不确定性减少方面，相较于次优的批量和贪心设计表现如何？
• RQ3 PG-sOED方法在具有昂贵前向模型的高维、非线性反问题中的计算与统计性能如何？
• RQ4 所推导的策略梯度表达式能否在连续、高维的设计与观测空间中高效计算并实际应用？
• RQ5 演员-评论家深度学习架构能否在序列实验设计中实现稳定且有效的自适应策略学习？

主要发现

• PG-sOED方法成功学习到一种具备反馈感知与前瞻优化能力的设计策略，其泛化能力超越了批量和贪心方法。
• 在线性高斯基准问题中，该方法实现了接近最优的性能，验证了所推导策略梯度表达式的正确性。
• 在非线性污染源反演问题中，PG-sOED显著降低了后验不确定性，相比批量和贪心设计展现出更优的信息增益。
• 演员-评论家深度学习架构即使在POMDP形式化复杂的情况下，也实现了稳定训练与有效的策略优化。
• 该方法通过学习的策略网络平衡探索与利用，实现了更高的实验效率。
• 所推导的策略梯度表达式支持在仅通过采样实现转移和贝叶斯推理步骤的情况下，对序列设计策略进行端到端可微训练。