[论文解读] Bayesian Inference with Generative Adversarial Network Priors

Dhruv Patel, Assad A. Oberai|arXiv (Cornell University)|Jul 22, 2019

Model Reduction and Neural Networks参考文献 47被引用 14

一句话总结

本文提出使用生成对抗网络（GAN）来建模贝叶斯推断中的复杂高维先验分布，从而在反问题中实现精确的不确定性量化。通过在样本场数据上训练 GAN，生成器将低维潜在空间映射为逼真的先验分布，该先验随后用于贝叶斯更新，以从噪声测量中推断初始温度分布等场变量，通过最大后验估计（MAP）和马尔可夫链蒙特卡洛（MCMC）采样实现精确的后验估计。

ABSTRACT

Bayesian inference is used extensively to infer and to quantify the uncertainty in a field of interest from a measurement of a related field when the two are linked by a physical model. Despite its many applications, Bayesian inference faces challenges when inferring fields that have discrete representations of large dimension, and/or have prior distributions that are difficult to represent mathematically. In this manuscript we consider the use of Generative Adversarial Networks (GANs) in addressing these challenges. A GAN is a type of deep neural network equipped with the ability to learn the distribution implied by multiple samples of a given field. Once trained on these samples, the generator component of a GAN maps the iid components of a low-dimensional latent vector to an approximation of the distribution of the field of interest. In this work we demonstrate how this approximate distribution may be used as a prior in a Bayesian update, and how it addresses the challenges associated with characterizing complex prior distributions and the large dimension of the inferred field. We demonstrate the efficacy of this approach by applying it to the problem of inferring and quantifying uncertainty in the initial temperature field in a heat conduction problem from a noisy measurement of the temperature at later time.

研究动机与目标

• 解决在分析形式不可行时，为高维场定义信息丰富且复杂的先验分布的挑战。
• 在待推断场维度较大的情况下，实现贝叶斯推断中的高效后验采样。
• 证明经过训练的 GAN 先验能够有效捕捉反问题中复杂的空间结构，如锐利边缘和矩形区域。
• 开发实用的计算策略——蒙特卡洛与 MCMC——用于基于 GAN 先验的后验估计。
• 在热传导反问题上验证该方法，展示对初始温度场的准确恢复及不确定性量化。

提出的方法

• 在一组样本场数据上训练 GAN，以学习未知场的底层分布，利用生成器将低维潜在向量映射为高维场实现。
• 将训练好的 GAN 生成器用作贝叶斯推断中的非参数先验，替代传统的解析先验。
• 基于贝叶斯定理构建后验分布，其中似然函数基于噪声测量，先验由 GAN 生成。
• 通过潜在空间中的梯度优化方法估计最大后验估计（MAP）解，即求解使后验密度最大的潜在向量。
• 在潜在空间中使用马尔可夫链蒙特卡洛（MCMC）方法进行后验采样，对潜在向量提出建议，并通过生成器变换获得场样本。
• 利用 MCMC 样本近似后验矩（如均值与方差），以量化推断场中的不确定性。

实验结果

研究问题

• RQ1 GAN 能否在高维反问题的贝叶斯推断中有效用作非参数先验？
• RQ2 GAN 先验在推断场中能否准确恢复复杂的空间结构（如矩形区域和锐利边缘）？
• RQ3 当真实先验已知时，使用 GAN 先验推断的后验分布是否收敛至真实后验？
• RQ4 在潜在空间中使用 MCMC 等高效采样策略能否为高维场提供可靠的不确定性量化？
• RQ5 与 H¹ 或 L² 等标准先验相比，GAN 先验在 MAP 估计与不确定性量化方面的性能如何？

主要发现

• GAN 先验成功捕捉了真实初始温度场的空间结构，包括锐利边缘和矩形区域，而传统平滑先验无法复现这些特征。
• 使用 GAN 先验的 MAP 估计在空间保真度与定量准确性上均优于 H¹ 和 L² 先验，与真实初始场高度一致。
• 在潜在空间中通过 MCMC 采样得到的均值估计与真实场一致，但因前向算子的平滑作用，边缘与角落区域存在一定程度的模糊化。
• 点对点的标准差图显示，边缘与角落区域的不确定性最高，证实这些特征因反问题的病态性而最难恢复。
• 通过 MCMC 估计的后验分布与 MAP 估计一致，且 GAN 先验在空间各位置均实现了精确的不确定性量化。
• 该方法表明，GAN 可作为复杂高维场的有效且灵活的先验，尤其在传统解析先验难以构建时具有显著优势。