[论文解读] Probability Measures for Numerical Solutions of Differential Equations

Patrick R. Conrad, Mark Girolami+3 more|arXiv (Cornell University)|Jun 15, 2015

Probabilistic and Robust Engineering Design参考文献 15被引用 49

一句话总结

本文提出了一种概率框架，通过随机化现有的数值求解器，对常微分方程（ODE）和偏微分方程（PDE）解中的数值不确定性进行量化。通过在离散化误差上引入高斯过程，该方法生成解空间上的概率测度，其收敛速率与经典方法一致，从而在统计推断和反问题中实现一致的不确定性量化。

ABSTRACT

In this paper, we present a formal quantification of epistemic uncertainty induced by numerical solutions of ordinary and partial differential equation models. Numerical solutions of differential equations contain inherent uncertainties due to the finite dimensional approximation of an unknown and implicitly defined function. When statistically analysing models based on differential equations describing physical, or other naturally occurring, phenomena, it is therefore important to explicitly account for the uncertainty introduced by the numerical method. This enables objective determination of its importance relative to other uncertainties, such as those caused by data contaminated with noise or model error induced by missing physical or inadequate descriptors. To this end we show that a wide variety of existing solvers can be randomised, inducing a probability measure over the solutions of such differential equations. These measures exhibit contraction to a Dirac measure around the true unknown solution, where the rates of convergence are consistent with the underlying deterministic numerical method. Ordinary differential equations and elliptic partial differential equations are used to illustrate the approach to quantifying uncertainty in both the statistical analysis of the forward and inverse problems.

研究动机与目标

• 解决标准数值求解器在统计推断中缺乏显式不确定性量化的问题。
• 认识到确定性求解器在有限分辨率设置下会引入人为的确定性信心，尤其是在反问题中。
• 开发一个正式表示微分方程解中数值近似带来的认知不确定性（epistemic uncertainty）的框架。
• 确保数值方法带来的不确定性量化与数据噪声或模型误差等其他不确定性源保持一致且可比。
• 通过在贝叶斯和反问题框架中一致传播数值不确定性，实现稳健的统计推断。

提出的方法

• 通过在离散化假设上引入局部随机场（特别是高斯过程），对现有数值求解器（如有限元法、有限差分法）进行随机化。
• 通过将数值解视为满足微分方程的隐含函数上的贝叶斯推断问题，构建解空间上的概率测度。
• 使用截断的Karhunen–Loève展开在有限元方法中实现随机基函数，以建模解空间中的不确定性。
• 通过比较不同多项式阶次（如线性与二次）的误差指标，校准随机化的方差尺度，确保与收敛速率的一致性。
• 在引入不确定性的前提下，保持原始确定性方法的正式收敛阶，确保理论可靠性。
• 在正向问题与反问题中应用概率求解器，证明在网格细化过程中后验分布具有一致的集中性。

实验结果

研究问题

• RQ1 如何正式量化微分方程求解器中的数值不确定性，并将其表示为概率测度？
• RQ2 忽略数值不确定性对贝叶斯反问题中后验集中性有何影响？
• RQ3 概率求解器是否能在提供不确定性量化的同时，保持经典数值方法的收敛速率？
• RQ4 使用随机化求解器如何影响不同网格分辨率下统计推断的一致性？
• RQ5 概率数值方法在多大程度上可作为结构化的差异模型，用于提升科学计算中的不确定性量化？

主要发现

• 所提出的概率求解器在解空间上诱导出一个概率测度，该测度以与底层确定性方法相同的速率收敛至真实解附近的狄拉克测度。
• 在贝叶斯反问题中，确定性求解器在有限分辨率下产生过于尖锐的后验分布，而概率求解器则揭示了适当的不确定性，并随着网格细化表现出更高的置信度。
• 对于一维椭圆型 PDE，概率求解器在不同网格尺寸下产生一致的后验分布，而确定性求解器则产生不一致的后验分布。
• 该方法保持了正式的收敛阶：概率求解器的期望误差在 $ L^1( ext{H}) $ 范数下被限制为 $ Ch^2 $，与确定性方法的收敛速率一致。
• 基于在节点处条件化的布朗桥先验的随机化策略，为编码离散化不确定性提供了一种实用且理论基础坚实的途径。
• 该框架实现了稳健的不确定性传播，使得在推理任务中能够对计算成本与统计方差进行合理权衡。