[论文解读] Solving Bayesian Inverse Problems via Variational Autoencoders

Hwan Goh, Sheroze Sheriffdeen+2 more|arXiv (Cornell University)|Dec 5, 2019

Gaussian Processes and Bayesian Inference参考文献 45被引用 31

一句话总结

该论文提出UQ-VAE，一种变分自编码器框架，通过利用基于物理的模型、信息性先验以及成对的参数-观测数据，实现在贝叶斯反问题中快速且准确的不确定性量化。通过将潜在空间重新解释为感兴趣参数（PoI）空间，并采用带有可调超参数α的灵活散度训练目标，该方法即使在训练数据有限的情况下，也能实现对后验分布的稳健近似，如在椭圆型PDE约束的反问题中所展示的那样。

ABSTRACT

In recent years, the field of machine learning has made phenomenal progress in the pursuit of simulating real-world data generation processes. One notable example of such success is the variational autoencoder (VAE). In this work, with a small shift in perspective, we leverage and adapt VAEs for a different purpose: uncertainty quantification in scientific inverse problems. We introduce UQ-VAE: a flexible, adaptive, hybrid data/model-informed framework for training neural networks capable of rapid modelling of the posterior distribution representing the unknown parameter of interest. Specifically, from divergence-based variational inference, our framework is derived such that most of the information usually present in scientific inverse problems is fully utilized in the training procedure. Additionally, this framework includes an adjustable hyperparameter that allows selection of the notion of distance between the posterior model and the target distribution. This introduces more flexibility in controlling how optimization directs the learning of the posterior model. Further, this framework possesses an inherent adaptive optimization property that emerges through the learning of the posterior uncertainty.

研究动机与目标

• 解决在全后验采样计算成本过高的科学反问题中，实现高效且准确的不确定性量化（UQ）的挑战。
• 通过将潜在空间重新解释为感兴趣参数（PoI）空间，将变分自编码器（VAEs）从生成建模应用到反问题中。
• 开发一种混合的、受数据与模型约束的框架，充分利用物理定律（通过参数到观测的映射）、PoI结构的先验知识以及PoI-观测对的实证数据。
• 引入一个可调超参数α，用于控制模型后验与目标后验之间的散度度量，从而实现对不确定性估计的灵活优化。
• 证明该框架在极少超参数调优和可行的数据规模（如M=500）下，仍能实现可靠的不确定性估计。

提出的方法

• 将VAE的潜在空间重新解释为未知感兴趣参数（PoI）的空间，其中生成器网络代表基于物理的参数到观测（PtO）映射。
• 在PoI空间上使用结构化的先验分布——通过引入物理特性来影响潜在分布——而非标准的各向同性高斯分布。
• 采用基于散度的变分推断目标，其中证据下界（ELBO）被修改，以包含一个可调超参数α，用于控制零强制（zero-forcing）与零避免（zero-avoiding）Kullback-Leibler散度之间的平衡。
• 通过引入PoI与观测对的成对训练数据（u^(m), y_obs^(m)）来正则化后验近似，有效利用了标准VAE中通常不可用的潜在数据。
• 通过结合似然项、先验项和后验数据项的损失函数来优化神经网络权重，其中后验数据项作为病态反问题的正则化项。
• 利用基于物理的数值模型实现PtO映射，避免了对该组件进行训练，从而将重点完全集中于后验推断。

实验结果

研究问题

• RQ1 VAE框架能否被有效重用于科学反问题中的不确定性量化，而非生成建模？
• RQ2 如何联合利用物理定律、PoI的先验知识以及实证数据，以改善反问题中的后验近似？
• RQ3 在反问题背景下，超参数α对后验方差与模型保真度之间权衡的影响是什么？
• RQ4 所提出的框架能否在训练数据有限的情况下实现可靠的不确定性估计，尤其是在全后验采样不可行时？
• RQ5 将PoI-观测数据对作为潜在数据引入，如何改善后验模型的训练与泛化能力？

主要发现

• UQ-VAE框架仅使用M=500组训练样本，即能对椭圆型PDE约束的反问题实现可行且准确的不确定性估计，证明了其在数据有限情况下的实用性。
• 随着α减小，后验方差增大，表明较低的α值（接近零强制KLD）导致更高的不确定性，这与多模态后验近似的理论预期一致。
• 较高的α值（接近零避免KLD）导致后验方差降低，反映出后验模型更加集中。
• 当α趋近于1时，训练过程变得不稳定，表明PoI数据的影响减弱，优化方向转向低正则化、可能病态的区域。
• 不确定性与训练数据规模呈反比关系：数据越多，不确定性越低，反映出信息的可得性。
• 该方法在极少超参数调优下表现出鲁棒性，主要依赖于对α的调整，而PtO映射和先验可由物理原理指导。