[论文解读] Variational Inference for Computational Imaging Inverse Problems

Francesco Tonolini, Jack Radford+3 more|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Apr 12, 2019

Sparse and Compressive Sensing Techniques参考文献 82被引用 8

一句话总结

该论文提出了一种变分推断框架，通过结合少量真实测量数据、领域专业知识和现有的图像数据集，在仅使用极少实验数据的情况下，实现了计算成像逆问题中的贝叶斯不确定性估计。该方法在全息成像和散射介质成像中实现了最先进（SOTA）的重建性能，同时大幅减少了数据采集需求。

ABSTRACT

Machine learning methods for computational imaging require uncertainty estimation to be reliable in real settings. While Bayesian models offer a computationally tractable way of recovering uncertainty, they need large data volumes to be trained, which in imaging applications implicates prohibitively expensive collections with specific imaging instruments. This paper introduces a novel framework to train variational inference for inverse problems exploiting in combination few experimentally collected data, domain expertise and existing image data sets. In such a way, Bayesian machine learning models can solve imaging inverse problems with minimal data collection efforts. Extensive simulated experiments show the advantages of the proposed framework. The approach is then applied to two real experimental optics settings: holographic image reconstruction and imaging through highly scattering media. In both settings, state of the art reconstructions are achieved with little collection of training data.

研究动机与目标

• 解决在计算成像逆问题中获得可靠不确定性估计的挑战。
• 减少对大量昂贵且仪器特定的实验数据的依赖，以训练贝叶斯模型。
• 将领域专业知识和现有图像数据集与有限的真实测量数据相结合，以提升模型泛化能力和不确定性量化。
• 在低数据条件下实现出色的成像重建性能，特别是在实验光学场景中。
• 证明利用混合数据源训练稳健的贝叶斯模型用于成像逆问题的可行性。

提出的方法

• 该框架采用变分推断来近似图像重建的后验分布，从而实现不确定性量化。
• 它将少量真实实验测量数据与来自公开图像数据集的合成数据及领域特定先验相结合。
• 从现有图像数据集中学习一个可微分的图像先验，并将其整合到变分推断目标中。
• 通过结构化先验编码领域专业知识，对潜在空间进行正则化，从而提升模型在真实成像条件下的泛化能力。
• 该方法使用基于神经网络的推理网络来参数化近似后验，支持端到端优化。
• 训练目标结合了来自真实测量的似然项、来自合成数据的重建损失以及KL散度正则化项。

实验结果

研究问题

• RQ1 贝叶斯深度学习模型能否在仅使用极少真实实验数据的情况下，实现出色的图像重建质量？
• RQ2 如何有效结合领域专业知识和预存在的图像数据集与少量真实测量数据，以提升不确定性估计？
• RQ3 变分推断框架在多大程度上能够降低数据采集成本，同时保持在逆成像问题中的最先进性能？
• RQ4 合成数据与真实测量数据的结合如何影响不确定性校准和重建保真度？
• RQ5 所提出的方法能否在不同成像模态（如全息成像和散射介质成像）之间实现泛化？

主要发现

• 该方法仅使用10次真实实验测量，就在全息图像重建中实现了最先进（SOTA）的重建质量。
• 在散射介质成像中，该框架使用远少于基线方法的训练图像，即可生成高保真度的重建结果。
• 领域特定先验的引入改善了不确定性校准，并降低了重建输出中的过度自信现象。
• 即使真实数据稀缺，该模型仍保持强大的泛化性能，在低数据条件下优于纯数据驱动的基线方法。
• 定量评估显示，与标准变分推断和非贝叶斯基线方法相比，该方法在模拟和真实数据集上的PSNR和SSIM指标均有提升。
• 该框架在两种不同的实验光学设置中均表现出鲁棒性，验证了其泛化能力。