[论文解读] Instance-Optimal Compressed Sensing via Posterior Sampling

Ajil Jalal, Sushrut Karmalkar+2 more|arXiv (Cornell University)|Jun 21, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文提出通过朗之万动力学进行后验抽样，作为任意已知先验分布信号的实例最优压缩感知方法，在高斯测量下实现了近似最优恢复。证明了后验抽样匹配测量复杂度的理论下界，并在估计先验与真实先验在Wasserstein距离上接近时，对分布模型失配保持鲁棒性。

ABSTRACT

We characterize the measurement complexity of compressed sensing of signals drawn from a known prior distribution, even when the support of the prior is the entire space (rather than, say, sparse vectors). We show for Gaussian measurements and \emph{any} prior distribution on the signal, that the posterior sampling estimator achieves near-optimal recovery guarantees. Moreover, this result is robust to model mismatch, as long as the distribution estimate (e.g., from an invertible generative model) is close to the true distribution in Wasserstein distance. We implement the posterior sampling estimator for deep generative priors using Langevin dynamics, and empirically find that it produces accurate estimates with more diversity than MAP.

研究动机与目标

• 表征当信号从任意已知先验分布中抽取时，压缩感知所需的测量复杂度，而不仅限于稀疏或结构化集合。
• 建立后验抽样在所有分布（包括在 R^n 上具有全支撑的分布）中实现实例最优恢复保证的理论。
• 分析对先验模型失配的鲁棒性，表明若估计先验与真实先验在Wasserstein距离上接近，则仍可实现准确恢复。
• 为深度生成先验提供后验抽样的实用实现，展示其在多样性与准确性上优于MAP的方法。

提出的方法

• 提出后验抽样作为恢复算法，从后验分布 p(x|y,A) 中抽取样本，其中 y 为测量向量，A 为测量矩阵。
• 引入近似覆盖数的新概念，表征在任意先验分布下恢复所需的测量复杂度。
• 以先验分布的近似覆盖数为基准，建立后验抽样测量复杂度的上界。
• 通过推导匹配的实例特定下界，证明后验抽样的测量复杂度为近似最优。
• 使用朗之万动力学实现深度生成模型的后验抽样，采用递减噪声和梯度步长的调度策略。
• 通过证明：若估计先验 P 与真实先验 R 在Wasserstein距离上接近，则使用 P 的后验抽样仍能实现准确恢复，展示其鲁棒性。

实验结果

研究问题

• RQ1 后验抽样能否在支持为整个 R^n 的任意信号分布下实现实例最优压缩感知性能？
• RQ2 对于给定的先验分布，实现近似最优恢复所需的最少高斯测量数是多少？
• RQ3 后验抽样对先验模型错误的鲁棒性如何，特别是在估计先验与真实先验在Wasserstein距离上接近时？
• RQ4 通过朗之万动力学实现的后验抽样能否在图像重建任务中产生比MAP更丰富多样且更准确的重建结果？
• RQ5 后验抽样在压缩感知和图像修复设置中，与MAP和深度解码器基线相比性能如何？

主要发现

• 后验抽样对任意先验分布均实现近似最优恢复保证，测量复杂度在高概率恢复下受 O(m log(1 + mr²‖A‖∞²/σ²) + log(1/δ)) 限制。
• 该方法对模型失配具有鲁棒性：若估计先验 P 与真实先验 R 的Wasserstein距离在 O(σδ¹ᐟᵖ) 以内，则使用 P 的后验抽样仍能实现准确恢复。
• 实验结果表明，基于朗之万动力学的后验抽样在压缩感知和图像修复任务中能生成多样且高质量的重建结果，其视觉质量和多样性优于MAP。
• 在 FFHQ 和 CelebA-HQ 数据集上的实验表明，使用 NCSNv2 和 Glow 模型的后验抽样在重建质量上优于 MAP 和 Deep-Decoder 基线。
• 理论分析证实，后验抽样匹配实例最优的测量复杂度下界，使其在给定先验下具有信息论最优性。
• 朗之万动力学的应用使复杂深度生成先验的实用后验抽样成为可能，克服了基于MAP方法常产生泛白、多样性低输出的局限。