[论文解读] A Spline-Based Approach to Uncertainty Propagation and Density Estimation

Adi Ditkowski, Gadi Fibich+1 more|arXiv (Cornell University)|Mar 29, 2018

Probabilistic and Robust Engineering Design被引用 1

一句话总结

本文提出了一种基于样条的不确定性传播与概率密度函数（PDF）估计算法，其性能优于广义多项式混沌等标准代理模型，后者因梯度估计不佳而难以进行PDF近似。该方法在 $d \leq \frac{5}{2}m$ 维度下实现了 $L^q$ 范数下的多项式收敛速率，其中 $m$ 为样条阶数，并在非线性光学与流体动力学应用中表现出更优的精度。

ABSTRACT

The effect of uncertainties and noise on a quantity of interest (model output) is often better described by its probability density function (PDF) than by its moments. Although density estimation is a common task, the adequacy of approximation methods (surrogate models) for density estimation has not been analyzed before in the uncertainty-quantification (UQ) literature. In this paper, we first show that standard surrogate models (such as generalized polynomial chaos), which are highly accurate for moment estimation, might completely fail to approximate the PDF, even for one-dimensional noise. This is because density estimation requires that the surrogate model accurately approximates the gradient of the quantity of interest, and not just the quantity of interest itself. Hence, we develop a novel spline-based algorithm for density-estimation whose convergence rate in $L^q$ is polynomial in the sampling resolution. This convergence rate is better than that of standard statistical density-estimation methods (such as histograms and kernel density estimators) at dimensions $1 \leq d\leq \frac{5}{2}m$, where $m$ is the spline order. Furthermore, we obtain the convergence rate for density estimation with any surrogate model that approximates the quantity of interest and its gradient in $L^{\infty}$. Finally, we demonstrate our algorithm for problems in nonlinear optics and fluid dynamics.

研究动机与目标

• 识别标准代理模型在近似概率密度函数（PDF）方面的局限性，尽管其在矩估计方面表现准确。
• 解决在不确定性量化中常被忽视的关键问题：密度估计所需的精确梯度近似。
• 开发一种新型基于样条的算法，确保可靠且可证明收敛的PDF估计。
• 为任意代理模型在 $L^\infty$ 范数下同时近似感兴趣量及其梯度的情形，建立密度估计的理论收敛速率。
• 在非线性光学与流体动力学等实际问题上验证该方法，证明其实际应用价值。

提出的方法

• 该方法采用 $m$ 阶 B 样条构建代理模型，使其在 $L^\infty$ 范数下同时近似感兴趣量及其梯度。
• 利用 B 样条的光滑性与局部紧支集特性，通过梯度一致近似实现精确的密度估计。
• 通过变量变换公式将代理模型的输出转换为PDF，确保与底层分布的一致性。
• 收敛性分析表明，估计PDF的 $L^q$ 误差随采样分辨率的提高呈多项式衰减，收敛速率取决于样条阶数 $m$ 与维度 $d$。
• 证明该方法在维度 $1 \leq d \leq \frac{5}{2}m$ 下的收敛速率优于标准统计估计器（如直方图、核密度估计器）。
• 该方法应用于非线性光学与流体动力学问题，在复杂且高噪声场景中表现出稳健性能。

实验结果

研究问题

• RQ1 为何标准代理模型（如广义多项式混沌）在矩估计方面准确，却在近似模型输出的概率密度函数方面完全失败？
• RQ2 在密度估计中，代理模型需满足何种条件，特别是关于梯度近似的条件？
• RQ3 基于样条的方法能否在 $L^q$ 范数下实现比传统统计方法（如直方图与核密度估计器）更优的PDF估计收敛速率？
• RQ4 当代理模型在 $L^\infty$ 范数下同时近似感兴趣量及其梯度时，PDF估计的理论收敛速率是多少？
• RQ5 所提出的方法在非线性光学与流体动力学等实际高维问题中的表现如何？

主要发现

• 标准代理模型（如广义多项式混沌）虽在矩估计方面有效，但因梯度近似不佳，可能完全无法近似真实PDF。
• 所提出的基于样条的算法在 $L^q$ 范数下实现了PDF估计的多项式收敛速率，优于标准统计方法，且在维度 $1 \leq d \leq \frac{5}{2}m$ 下表现更优，其中 $m$ 为样条阶数。
• 该方法的收敛速率取决于样条阶数 $m$ 与维度 $d$，在低至中等维度下性能更优。
• 理论分析证实，任何在 $L^\infty$ 范数下同时近似感兴趣量及其梯度的代理模型，均可实现可证明收敛的密度估计。
• 非线性光学与流体动力学中的数值实验表明，该方法在存在显著噪声与非线性的情况下，仍能提供准确且稳定的PDF估计。
• 在 $d \leq \frac{5}{2}m$ 条件下，该方法在收敛速度与精度方面均优于传统密度估计技术（如直方图与核密度估计器）。