[论文解读] GAN-Based Priors for Quantifying Uncertainty

Dhruv Patel, Assad A. Oberai|arXiv (Cornell University)|Jan 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 2

一句话总结

本文提出在贝叶斯推断框架中使用生成对抗网络（GAN）学习的先验分布，以量化高维反问题中的不确定性。通过将复杂、非高斯的先验映射到低维潜在空间，该方法实现了图像恢复任务中准确的后验估计，在分布外检测、带方差估计的图像修复以及图像去噪和热传导重建等物理驱动的反问题中均取得了最先进性能。

ABSTRACT

Bayesian inference is used extensively to quantify the uncertainty in an inferred field given the measurement of a related field when the two are linked by a mathematical model. Despite its many applications, Bayesian inference faces challenges when inferring fields that have discrete representations of large dimension, and/or have prior distributions that are difficult to characterize mathematically. In this work we demonstrate how the approximate distribution learned by a deep generative adversarial network (GAN) may be used as a prior in a Bayesian update to address both these challenges. We demonstrate the efficacy of this approach on two distinct, and remarkably broad, classes of problems. The first class leads to supervised learning algorithms for image classification with superior out of distribution detection and accuracy, and for image inpainting with built-in variance estimation. The second class leads to unsupervised learning algorithms for image denoising and for solving physics-driven inverse problems.

研究动机与目标

• 解决在图像与物理场恢复的贝叶斯推断中建模复杂高维先验的挑战。
• 在传统先验（如L2、H1）无法捕捉真实数据分布的反问题中，实现不确定性量化。
• 开发一种高效的贝叶斯推断框架，利用GAN在潜在空间中近似复杂后验分布。
• 在多种任务中验证该方法的有效性：带分布外检测的图像分类、带主动学习的图像修复、图像去噪，以及物理驱动的反问题。

提出的方法

• 在数据集（如MNIST）上训练GAN，以学习潜在空间中的复杂非高斯先验分布。
• 使用训练好的GAN生成器将简单潜在先验（如高斯分布）的样本映射到数据流形，从而在观测空间中形成先验。
• 通过在低维潜在空间中使用MCMC采样后验分布，再利用生成器将样本映射回数据空间，完成贝叶斯推断。
• 利用后验样本估计最大后验概率（MAP）、均值以及像素级方差。
• 利用估计的方差指导主动学习策略，例如在图像修复中选择下一个测量窗口。
• 在监督任务（分类、修复）和无监督任务（去噪、反问题）中验证该方法，与L2和H1等标准先验进行对比。

实验结果

研究问题

• RQ1 基于GAN的先验是否能提升高维图像恢复问题中贝叶斯推断的不确定性量化性能？
• RQ2 在从噪声或不完整测量中重建图像时，GAN先验与标准高斯先验（L2、H1）相比表现如何？
• RQ3 基于GAN后验估计的像素级方差是否能有效用于图像分类中的分布外输入检测？
• RQ4 不确定性估计在迭代图像修复的主动学习中能发挥多大作用？
• RQ5 在具有真实解的物理驱动反问题中，基于GAN的后验是否收敛至真实后验？

主要发现

• 在MNIST与NotMNIST输入的分布外检测中，基于GAN的先验实现了完美检测，且在∥ŷ − xMAP∥度量上表现出清晰分离。
• 在图像修复任务中，该方法利用方差估计指导主动窗口选择，仅用四个窗口即实现了高精度重建。
• 在图像去噪任务中，MAP估计在低噪声（σx = 0.1）和中等噪声（σx = 1）下准确，而高噪声（σx = 10）下的高方差正确反映了低置信度，避免了对错误重建的误判。
• 在热传导反问题中，基于GAN的后验生成的MAP估计非常接近真实初始条件，优于L2和H1先验。
• 基于GAN后验的像素级方差估计在空间上与已知的不确定性区域（如边缘）一致，且与通过蒙特卡洛计算的真实后验方差高度吻合。
• 在所有测试问题中，基于GAN的后验均收敛至真实后验，经与低维参数空间中MCMC近似结果对比得到验证。