[论文解读] A fast and scalable computational framework for large-scale and high-dimensional Bayesian optimal experimental design

Keyi Wu, Peng Chen+1 more|arXiv (Cornell University)|Oct 28, 2020

Gaussian Processes and Bayesian Inference参考文献 40被引用 16

一句话总结

本文提出了一种快速、可扩展的计算框架，用于大规模、高维贝叶斯最优实验设计（OED），通过利用黑塞矩阵中的低秩结构以及离线-在线分解，减少了偏微分方程（PDE）求解次数。该方法采用一种交换式贪心算法进行传感器布置，仅需极少的在线PDE求解即可实现接近最优的信息增益，展示了在数千个参数和传感器规模下的可扩展性。

ABSTRACT

We develop a fast and scalable computational framework to solve large-scale and high-dimensional Bayesian optimal experimental design problems. In particular, we consider the problem of optimal observation sensor placement for Bayesian inference of high-dimensional parameters governed by partial differential equations (PDEs), which is formulated as an optimization problem that seeks to maximize an expected information gain (EIG). Such optimization problems are particularly challenging due to the curse of dimensionality for high-dimensional parameters and the expensive solution of large-scale PDEs. To address these challenges, we exploit two essential properties of such problems: the low-rank structure of the Jacobian of the parameter-to-observable map to extract the intrinsically low-dimensional data-informed subspace, and the high correlation of the approximate EIGs by a series of approximations to reduce the number of PDE solves. We propose an efficient offline-online decomposition for the optimization problem: an offline stage of computing all the quantities that require a limited number of PDE solves independent of parameter and data dimensions, and an online stage of optimizing sensor placement that does not require any PDE solve. For the online optimization, we propose a swapping greedy algorithm that first construct an initial set of sensors using leverage scores and then swap the chosen sensors with other candidates until certain convergence criteria are met. We demonstrate the efficiency and scalability of the proposed computational framework by a linear inverse problem of inferring the initial condition for an advection-diffusion equation, and a nonlinear inverse problem of inferring the diffusion coefficient of a log-normal diffusion equation, with both the parameter and data dimensions ranging from a few tens to a few thousands.

研究动机与目标

• 解决由偏微分方程（PDE）控制的高维贝叶斯最优实验设计（OED）所面临的计算挑战。
• 克服在期望信息增益（EIG）评估中求解大规模PDE和高维积分所带来的高昂计算成本。
• 开发一种可扩展的方法，将PDE求解次数减少至与参数和数据维度无关的固定离线成本。
• 利用无需PDE求解的贪心算法，在高维设计空间中实现高效的传感器布置。
• 在参数和数据维度高达数千的线性和非线性反演问题中，验证方法的有效性与可扩展性。

提出的方法

• 利用参数到观测量映射的雅可比矩阵中的低秩结构，识别出一种由数据引导的、内在低维的子空间。
• 对后验分布应用拉普拉斯近似，以简化EIG计算，将双重积分简化为仅对先验的单重积分。
• 采用离线-在线分解：在离线阶段使用有限次求解预先计算所有依赖PDE的量。
• 在在线优化中使用交换式贪心算法，从基于杠杆度量的初始化开始，并通过迭代改进传感器选择。
• 利用近似EIG之间的高度相关性，减少离线阶段所需的PDE求解次数。
• 通过先验预条件算子近似拟合函数的黑塞矩阵，并利用其快速的特征值衰减实现低秩近似。

实验结果

研究问题

• RQ1 我们能否在高维贝叶斯OED的EIG评估中显著减少PDE求解次数？
• RQ2 如何利用黑塞矩阵和参数到观测量映射中的低秩结构来实现可扩展计算？
• RQ3 交换式贪心算法是否能在高维OED的传感器布置中优于标准贪心方法？
• RQ4 该框架在参数和数据维度增加时，其可扩展性如何？
• RQ5 在实际反演问题中，通过拉普拉斯近似计算的近似EIG与真实EIG的接近程度如何？

主要发现

• 所提出的框架在离线阶段将PDE求解次数减少至与参数和数据维度无关的固定小数量。
• 交换式贪心算法始终能找到最优或近似最优的传感器配置：在所有测试案例中，当r=2,3,5,8时，其EIG达到最佳或第二佳；在r=4,6,7时也表现出接近最优的性能。
• 对于9个候选传感器，两种贪心算法均优于200种随机设计，且交换式贪心算法在8种情况中的7种中表现与标准贪心算法持平或更优。
• 在81个候选传感器的情况下，交换式贪心算法选择的配置显著优于随机选择，且始终优于标准贪心算法。
• 随着参数和数据维度的增加，黑塞矩阵的特征值衰减保持一致，证实了其在参数维度上的强可扩展性，以及在数据维度上的弱可扩展性。
• 拉普拉斯近似对EIG的近似足够准确，足以指导传感器选择，因为该近似所选出的设计通常正是真实最优或近似最优的设计。