[论文解读] hIPPYlib: An Extensible Software Framework for Large-Scale Inverse Problems Governed by PDEs; Part I: Deterministic Inversion and Linearized Bayesian Inference

Umberto Villa, Noémi Petra+1 more|arXiv (Cornell University)|Sep 9, 2019

Gaussian Processes and Bayesian Inference参考文献 48被引用 11

一句话总结

hIPPYlib 是一个可扩展、可扩展的 Python 框架，用于求解由 PDE 控制的大规模确定性和线性化贝叶斯反问题，通过低秩 Hessian 近似和矩阵自由的牛顿-共轭梯度方法实现与维度无关的计算成本。它通过利用 Hessian 的低有效维度，实现了无限维反问题的高效求解，支持可扩展的 MAP 估计、后验协方差近似以及最小前向求解次数的采样。

ABSTRACT

We present an extensible software framework, hIPPYlib, for solution of large-scale deterministic and Bayesian inverse problems governed by partial differential equations (PDEs) with infinite-dimensional parameter fields (which are high-dimensional after discretization). hIPPYlib overcomes the prohibitive nature of Bayesian inversion for this class of problems by implementing state-of-the-art scalable algorithms for PDE-based inverse problems that exploit the structure of the underlying operators, notably the Hessian of the log-posterior. The key property of the algorithms implemented in hIPPYlib is that the solution of the deterministic and linearized Bayesian inverse problem is computed at a cost, measured in linearized forward PDE solves, that is independent of the parameter dimension. The mean of the posterior is approximated by the MAP point, which is found by minimizing the negative log-posterior. This deterministic nonlinear least-squares optimization problem is solved with an inexact matrix-free Newton-CG method. The posterior covariance is approximated by the inverse of the Hessian of the negative log posterior evaluated at the MAP point. This Gaussian approximation is exact when the parameter-to-observable map is linear; otherwise, its logarithm agrees to two derivatives with the log-posterior at the MAP point, and thus it can serve as a proposal for Hessian-based MCMC methods. The construction of the posterior covariance is made tractable by invoking a low-rank approximation of the Hessian of the log-likelihood. Scalable tools for sample generation are also implemented. hIPPYlib makes all of these advanced algorithms easily accessible to domain scientists and provides an environment that expedites the development of new algorithms. hIPPYlib is also a teaching tool to educate researchers and practitioners who are new to inverse problems and the Bayesian inference framework.

研究动机与目标

• 解决由 PDE 控制的、具有无限维参数的大规模反问题所面临的计算不可行性问题。
• 提供一个可扩展、可扩展的软件框架，集成先进的数值算法，用于确定性和线性化贝叶斯反演。
• 使前沿算法（如不精确牛顿-共轭梯度法和低秩 Hessian 近似）对领域科学家可访问，而无需深入掌握优化或统计学知识。
• 通过拉普拉斯方法对后验均值和协方差进行近似，实现高效的不确定性量化。
• 通过允许用户使用 FEniCS 以变分形式定义前向问题，支持可扩展性，从而实现新反问题设置的快速原型设计。

提出的方法

• 使用 FEniCS 实现 PDE 的变分离散化，使用 PETSc 实现可扩展的线性代数运算。
• 采用不精确的矩阵自由牛顿-共轭梯度方法计算最大后验概率（MAP）点，通过基于 Hessian 的搜索方向最小化负对数后验。
• 在 MAP 点处对对数似然的 Hessian 进行低秩近似，使后验协方差估计变得可行。
• 实现一种无平方根的低秩 Hessian 近似方法，以提高数值稳定性和效率。
• 利用随机化特征值求解器计算 Hessian 的主导特征模式，捕捉由数据驱动的参数变化。
• 通过高效生成随机场，实现对高维高斯先验和后验的采样，同时计算点态方差。

实验结果

研究问题

• RQ1 如何在不产生维度相关成本的情况下，高效求解具有无限维参数的大规模基于 PDE 的反问题？
• RQ2 在高维贝叶斯反问题中，使用低秩 Hessian 近似，最有效的后验协方差近似方法是什么？
• RQ3 矩阵自由牛顿-共轭梯度方法能否在保持可扩展性的前提下，有效应用于无限维反问题？
• RQ4 在 PDE 约束的反问题背景下，如何实现对高维高斯分布的可扩展采样？
• RQ5 一个模块化、可扩展的软件框架在多大程度上可以加速反问题研究与教育，而无需用户具备深厚的数值优化知识？

主要发现

• 求解反问题的计算成本与参数、状态和数据维度无关，仅取决于数据驱动的模式数量。
• 通过仅需少量线性化前向和伴随 PDE 求解的不精确矩阵自由牛顿-共轭梯度方法，高效计算了 MAP 点。
• Hessian 的低秩近似捕捉了谱的主要、数据驱动部分，数值实验中特征值在约 0.06 处被截断。
• 后验方差场被准确计算，并与先验相比显著降低了不确定性，特别是在数据提供信息的区域。
• 该框架在两个模型问题上成功展示了可扩展性能：泊松方程中的系数反演和对流-扩散方程中的初始条件恢复。
• hIPPYlib 已被应用于研究生课程和研讨班，证明其在反问题教学和快速算法开发中的实用性。