[论文解读] Faster Uncertainty Quantification for Inverse Problems with Conditional Normalizing Flows

Ali Siahkoohi, Gabrio Rizzuti+2 more|arXiv (Cornell University)|Jul 15, 2020

Gaussian Processes and Bayesian Inference参考文献 18被引用 16

一句话总结

本文提出了一种两阶段条件归一化流框架，通过复用预训练的监督模型作为无监督推理的先验，加速了反问题中的不确定性量化。通过基于流的迁移学习后验近似，该方法在处理具有分布外观测的新反问题时，实现了显著的训练加速——在地震成像中得到验证。

ABSTRACT

In inverse problems, we often have access to data consisting of paired samples $(x,y)\sim p_{X,Y}(x,y)$ where $y$ are partial observations of a physical system, and $x$ represents the unknowns of the problem. Under these circumstances, we can employ supervised training to learn a solution $x$ and its uncertainty from the observations $y$. We refer to this problem as the "supervised" case. However, the data $y\sim p_{Y}(y)$ collected at one point could be distributed differently than observations $y'\sim p_{Y}'(y')$, relevant for a current set of problems. In the context of Bayesian inference, we propose a two-step scheme, which makes use of normalizing flows and joint data to train a conditional generator $q_θ(x|y)$ to approximate the target posterior density $p_{X|Y}(x|y)$. Additionally, this preliminary phase provides a density function $q_θ(x|y)$, which can be recast as a prior for the "unsupervised" problem, e.g.~when only the observations $y'\sim p_{Y}'(y')$, a likelihood model $y'|x$, and a prior on $x'$ are known. We then train another invertible generator with output density $q'_ϕ(x|y')$ specifically for $y'$, allowing us to sample from the posterior $p_{X|Y}'(x|y')$. We present some synthetic results that demonstrate considerable training speedup when reusing the pretrained network $q_θ(x|y')$ as a warm start or preconditioning for approximating $p_{X|Y}'(x|y')$, instead of learning from scratch. This training modality can be interpreted as an instance of transfer learning. This result is particularly relevant for large-scale inverse problems that employ expensive numerical simulations.

研究动机与目标

• 解决涉及昂贵PDE模拟的大规模反问题中不确定性量化训练速度慢的挑战。
• 克服纯无监督方法在无配对数据时对新分布外观测泛化能力有限的问题。
• 利用遗留的监督数据对无监督推理进行预处理，提升收敛速度和解的质量。
• 利用可逆生成模型实现解析密度计算，实现在高维反问题中的高效后验近似。
• 开发一种迁移学习策略，复用预训练的条件归一化流作为新反问题的先验，从而减少从头训练的时间。

提出的方法

• 在配对数据 $ (x,y) \sim p_{X,Y}(x,y) $ 上训练条件归一化流 $ q_\theta(x|y) $，以近似后验 $ p_{X|Y}(x|y) $，实现解析密度估计。
• 将学习到的 $ q_\theta(x|y) $ 用作无监督问题的先验，替代手工设计或随机先验。
• 对于新的观测 $ y' \sim p_Y'(y') $，使用预训练的 $ q_\theta $ 作为热启动或预条件，训练第二个条件流 $ q'_\phi(x|y') $。
• 采用基于似然的训练方法，结合可逆流，确保内存复杂度恒定，并避免模式崩溃。
• 将后验近似表述为变分推理问题，利用流的可逆性计算精确对数似然。
• 在压缩感知和波方程前向模型的地震成像中应用该方法，验证其在分布外数据上的性能。

实验结果

研究问题

• RQ1 预训练的监督归一化流能否有效复用为先验，以加速反问题中无监督不确定性量化的训练？
• RQ2 与从随机初始化开始训练相比，基于流的先验进行迁移学习在收敛速度和解的准确性方面表现如何？
• RQ3 条件归一化流在计算昂贵的PDE基反问题中，能在多大程度上实现高效的后验近似？
• RQ4 基于遗留数据学习的流基先验是否能提升成像应用中对新分布外观测的泛化能力？
• RQ5 从预训练流获得的热启动对无监督反问题训练稳定性及最终后验质量有何影响？

主要发现

• 将预训练的条件归一化流作为先验，显著加速了无监督反问题的训练，减少了达到目标损失所需的迭代次数。
• 从热启动开始训练的收敛速度优于从随机初始化开始，且前者更一致地达到更低的损失值。
• 热启动模型的条件均值估计与真实值相比显著更接近，而随机初始化网络的估计则偏差较大。
• 热启动模型的点对点标准差表现出更准确的不确定性量化，具有更好的空间一致性和不确定性定位能力。
• 即使经过20,000次迭代，随机初始化网络仍未能生成合理的后验近似，而热启动模型成功收敛至合理解。
• 该方法在地震成像或光声成像等大规模成像问题中展现出强大潜力，其中前向模型计算成本高昂。