[论文解读] Higher order Quasi-Monte Carlo integration for Bayesian Estimation

Josef Dick, Robert N. Gantner+2 more|arXiv (Cornell University)|Feb 24, 2016

Probabilistic and Robust Engineering Design参考文献 34被引用 18

一句话总结

本文提出了一种高阶准蒙特卡洛（HoQMC）方法，用于具有不确定输入全纯依赖关系的无限维参数算子方程中的贝叶斯估计。通过利用SPOD加权函数空间和交错多项式格规则，实现了O(N^{-1/p})的维数无关收敛速率（p < 1），从而在高达10^4个参数的情况下实现高效、确定性的贝叶斯推断。

ABSTRACT

We analyze combined Quasi-Monte Carlo quadrature and Finite Element approximations in Bayesian estimation of solutions to countably-parametric operator equations with holomorphic dependence on the parameters as considered in [Cl.~Schillings and Ch.~Schwab: Sparsity in Bayesian Inversion of Parametric Operator Equations. Inverse Problems, {\bf 30}, (2014)]. Such problems arise in numerical uncertainty quantification and in Bayesian inversion of operator equations with distributed uncertain inputs, such as uncertain coefficients, uncertain domains or uncertain source terms and boundary data. We show that the parametric Bayesian posterior densities belong to a class of weighted Bochner spaces of functions of countably many variables, with a particular structure of the QMC quadrature weights: up to a (problem-dependent, and possibly large) finite dimension $S$ product weights can be used, and beyond this dimension, weighted spaces with so-called SPOD weights are used to describe the solution regularity. We establish error bounds for higher order Quasi-Monte Carlo quadrature for the Bayesian estimation based on [J.~Dick, Q.T.~LeGia and Ch.~Schwab, Higher order Quasi-Monte Carlo integration for holomorphic, parametric operator equations, Report 2014-23, SAM, ETH Zürich]. It implies, in particular, regularity of the parametric solution and of the countably-parametric Bayesian posterior density in SPOD weighted spaces. This, in turn, implies that the Quasi-Monte Carlo quadrature methods in [J. Dick, F.Y.~Kuo, Q.T.~Le Gia, D.~Nuyens, Ch.~Schwab, Higher order QMC Galerkin discretization for parametric operator equations, SINUM (2014)] are applicable to these problem classes, with dimension-independent convergence rates $\calO(N^{-1/p})$ of $N$-point HoQMC approximated Bayesian estimates, where $0

研究动机与目标

• 解决具有分布式不确定输入的参数算子方程中高维贝叶斯推断的计算挑战。
• 克服标准蒙特卡洛方法和低阶QMC方法在实现无限维问题可扩展收敛方面的局限性。
• 实现具有可证明维数无关收敛速率的高效、确定性贝叶斯估计。
• 在SPOD加权函数空间中建立参数解和后验正则性的理论框架。
• 开发一个结合参数不确定性参数化、有限元离散化和HoQMC积分的实用计算流程。

提出的方法

• 使用可数基对无限维不确定输入进行参数化，将问题简化为可数参数化的确定性设定。
• 应用维数截断，将参数空间限制在维数为s的有限维子空间内。
• 使用Petrov-Galerkin有限元方法对参数算子方程进行离散化，以近似前向解。
• 将贝叶斯后验密度建模为加权Bochner空间中的全纯函数，其中SPOD权重在有限截断维数S之后适用。
• 通过快速逐分量（CBC）算法构建交错多项式格规则，以实现高效、高阶的QMC积分。
• 推导出将离散化误差、截断误差和QMC积分误差分离的联合误差界，确保收敛速率O(N^{-1/p})与s无关。

实验结果

研究问题

• RQ1 高阶准蒙特卡洛方法是否能在无限维参数PDE的贝叶斯估计中实现维数无关的收敛？
• RQ2 为实现高阶QMC收敛，参数解和后验密度所需的函数空间正则性是什么？
• RQ3 如何有效利用SPOD权重来描述高维参数空间中后验的正则性？
• RQ4 不同参数基选择（如Karhunen-Loève基与指示函数）对QMC收敛性和计算成本有何影响？
• RQ5 快速CBC算法构建格规则是否能使HoQMC在高达10^4个参数的问题中可行？

主要发现

• 参数解和贝叶斯后验密度属于SPOD权重在有限维数S之后的加权Bochner空间类，从而支持高阶QMC收敛。
• 在全纯依赖条件下，高阶准蒙特卡洛积分实现了O(N^{-1/p})的收敛速率（p < 1），且与参数维数s无关。
• 在Karhunen-Loève基的实例中，观察到QMC收敛速率为O(N^{-1.5})，与理论预测的O(N^{-1/p})边界一致（p ≈ 1.5）。
• 在P2有限元下的指示函数基实例中，QMC收敛速率为O(N^{-2})，与高阶规则的理论预测一致。
• 在指示函数情况下使用乘积权重使得CBC构造实现线性时间复杂度，将计算成本从O(s^2)降低至O(s)，从而实现s = 8192的可扩展性。
• 在Karhunen-Loève情况下，离散化误差主导了总误差；而在使用精确有限元解的指示函数情况下，QMC误差为主要贡献者，验证了联合误差界的紧致性。