[论文解读] Conditional deep surrogate models for stochastic, high-dimensional, and multi-fidelity systems

Yibo Yang, Paris Perdikaris|arXiv (Cornell University)|Jan 15, 2019

Gaussian Processes and Bayesian Inference参考文献 61被引用 5

一句话总结

该论文提出了一种基于正则化对抗变分推断的条件深度代理模型，以实现对随机性、高维及多保真度系统的可扩展、具备不确定性感知的预测。通过利用隐式生成模型和潜在变量推断，该方法能从噪声大、稀疏或多保真度数据中准确捕捉复杂的条件分布，在不确定性量化和高维动力学预测方面表现出色，并提供可量化的不确定性估计。

ABSTRACT

We present a probabilistic deep learning methodology that enables the construction of predictive data-driven surrogates for stochastic systems. Leveraging recent advances in variational inference with implicit distributions, we put forth a statistical inference framework that enables the end-to-end training of surrogate models on paired input-output observations that may be stochastic in nature, originate from different information sources of variable fidelity, or be corrupted by complex noise processes. The resulting surrogates can accommodate high-dimensional inputs and outputs and are able to return predictions with quantified uncertainty. The effectiveness our approach is demonstrated through a series of canonical studies, including the regression of noisy data, multi-fidelity modeling of stochastic processes, and uncertainty propagation in high-dimensional dynamical systems.

研究动机与目标

• 开发一种适用于具有随机性、高维及多保真度数据的复杂系统的可扩展、数据驱动的代理建模框架。
• 实现在具有复杂噪声和不同保真度水平的配对输入-输出观测数据上的端到端训练。
• 为下游任务（如优化和敏感性分析）提供预测不确定性量化。
• 克服变分推断中均场近似和高斯近似在复杂条件分布建模中的局限性。
• 支持非线性降维，并在非高斯、相关噪声过程下实现稳健建模。

提出的方法

• 基于隐式变分推断，采用正则化对抗推断框架，以建模复杂的条件分布 $ p(\bm{y}|\bm{x}) $。
• 使用带有随机编码器和解码器的条件生成模型，引入潜在变量 $ \bm{z} $ 以捕捉非线性依赖关系并降低维度。
• 通过判别器区分真实数据与生成数据，实施对抗训练，提升分布保真度并缓解模式崩溃。
• 引入熵正则化与数据拟合惩罚（$ \lambda = 1.5 $，$ \beta = 0.5 $），以稳定训练并提升泛化能力。
• 将时间视为连续标签，在输入空间和潜在空间中广播，实现对动力系统的时间建模。
• 使用 Adam 优化器以 $ 10^{-4} $ 的学习率交替训练生成器与判别器。

实验结果

研究问题

• RQ1 深度概率代理模型能否有效从稀疏且带噪声的输入-输出对中学习复杂的高维条件分布？
• RQ2 该方法在具有多保真度数据的随机动力系统中，不确定性量化性能如何？
• RQ3 模型能否泛化到未见的时间点，并保持预测精度与不确定性校准？
• RQ4 与均场变分推断相比，该方法在捕捉复杂、非高斯及多模态输出分布方面表现如何？
• RQ5 该模型在高维相关数据中发现低维潜在结构的能力有多大？

主要发现

• 即使仅使用 100 个训练实例，该模型在生成 128 维的 Burgers 方程轨迹时，与高保真度仿真结果具有很强的定性一致性。
• 在四个未见时间点（$ t = 12.5, 25, 37.5, 50 $）处，代理模型预测的均值与标准差与参考仿真轨迹高度吻合。
• 该方法成功建模了复杂、非高斯及相关的噪声过程，在分布准确性上优于标准的均场近似。
• 潜在变量的使用实现了有效的非线性降维，并在训练数据有限的情况下仍具备对复杂噪声的鲁棒性。
• 该模型在高维场景下表现出可扩展性与稳定性，能跨多种数据模态保持预测不确定性估计。
• 该框架支持在高维动力系统中实现准确的不确定性传播，可支持贝叶斯优化与主动学习等下游任务。