[论文解读] Conditional Sampling from Invertible Generative Models with Applications to Inverse Problems

Erik Lindgren, Jay Whang+1 more|arXiv (Cornell University)|Feb 26, 2020

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出一种变分方法，用于从可逆生成模型中进行条件采样，以实现不确定性感知的压缩感知。通过将新的生成模型与给定的可逆先验组合，该方法能够在给定低维测量值的情况下，实现快速、高质量的后验分布采样，显著提升了逆问题中的采样效率和不确定性量化能力。

ABSTRACT

We consider uncertainty aware compressive sensing when the prior distribution is defined by an invertible generative model. In this problem, we receive a set of low dimensional measurements and we want to generate conditional samples of high dimensional objects conditioned on these measurements. We first show that the conditional sampling problem is hard in general, and thus we consider approximations to the problem. We develop a variational approach to conditional sampling that composes a new generative model with the given generative model. This allows us to utilize the sampling ability of the given generative model to quickly generate samples from the conditional distribution.

研究动机与目标

• 解决当先验由可逆生成模型定义时的不确定性感知压缩感知问题。
• 应对在给定低维测量值的情况下生成高维条件样本的挑战。
• 在此设置下，为难以处理的条件采样问题开发一种高效近似方法。
• 利用可逆先验的采样能力，构建一种实用且可扩展的推理方法。

提出的方法

• 将条件采样问题表述为在可逆先验下，基于低维测量值的后验推断问题。
• 通过组合生成模型，提出对真实后验分布的变分近似。
• 通过将可逆先验与条件流组合，构建一个新的生成模型以建模后验分布。
• 使用变分推断端到端训练组合模型，以最小化证据下界（ELBO）。
• 利用原始生成模型的可逆性，实现对条件分布的高效采样。
• 通过避免推理过程中的迭代采样或优化，确保计算效率。

实验结果

研究问题

• RQ1 当先验为可逆生成模型时，我们能否高效地生成基于低维测量值的高维样本？
• RQ2 在此设置下，如何在不依赖昂贵采样方法的前提下，近似难以处理的后验分布？
• RQ3 所提出的变分方法在样本质量和不确定性量化方面的性能如何？
• RQ4 该方法在保持采样效率的同时，能否扩展到高维逆问题？

主要发现

• 所提出的方法利用可逆先验的采样能力，实现了快速且可扩展的后验分布条件采样。
• 变分近似为原本难以处理的条件采样问题提供了一种可处理且高效的解决方案。
• 组合生成模型有效捕捉了后验的结构，从而生成了高质量的条件样本。
• 与标准基线相比，该方法在压缩感知中实现了更优的不确定性量化。
• 条件分布的采样计算效率高，因为它避免了迭代优化或精炼步骤。
• 该方法具有通用性，适用于广泛存在的可逆生成先验的逆问题。