[论文解读] Learn from Unpaired Data for Image Restoration: A Variational Bayes Approach

Dihan Zheng, Xiaowen Zhang+2 more|arXiv (Cornell University)|Apr 21, 2022

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出 LUD-VAE，一种变分贝叶斯方法，通过利用共享潜在表征将干净图像与噪声图像建模为条件独立，从而从无配对的干净与受损图像中学习联合图像恢复分布。该方法可利用从无配对数据生成的合成配对数据训练出高效的图像恢复模型，在去噪、超分辨率和低光照增强任务中实现最先进性能，且无需配对监督。

ABSTRACT

Collecting paired training data is difficult in practice, but the unpaired samples broadly exist. Current approaches aim at generating synthesized training data from unpaired samples by exploring the relationship between the corrupted and clean data. This work proposes LUD-VAE, a deep generative method to learn the joint probability density function from data sampled from marginal distributions. Our approach is based on a carefully designed probabilistic graphical model in which the clean and corrupted data domains are conditionally independent. Using variational inference, we maximize the evidence lower bound (ELBO) to estimate the joint probability density function. Furthermore, we show that the ELBO is computable without paired samples under the inference invariant assumption. This property provides the mathematical rationale of our approach in the unpaired setting. Finally, we apply our method to real-world image denoising, super-resolution, and low-light image enhancement tasks and train the models using the synthetic data generated by the LUD-VAE. Experimental results validate the advantages of our method over other approaches.

研究动机与目标

• 为解决真实世界图像恢复中配对训练数据有限的问题，即收集配对干净-受损图像成本高昂且不切实际。
• 开发一种深度生成模型，从未配对的边缘数据中学习干净与受损图像的联合分布。
• 建立一种理论基础扎实的无配对图像恢复方法，避免使用循环一致性等启发式约束。
• 通过具有推断不变性的概率图模型，利用从无配对数据生成的合成配对数据，实现图像恢复模型的有效训练。
• 证明在推断不变性假设下，证据下界（ELBO）可无需配对样本进行计算，从而实现在无配对数据上的端到端训练。

提出的方法

• 该方法采用概率图模型，其中干净图像 $\mathbf{x}$ 与受损图像 $\mathbf{y}$ 在共享潜在变量 $\mathbf{z}$ 条件下条件独立，$\mathbf{z}$ 编码图像内容，$\mathbf{z}_n$ 编码退化噪声。
• 采用变分自编码器（VAE）框架，为 $\mathbf{x}$ 和 $\mathbf{y}$ 分别设置编码器，共享解码器从 $\mathbf{z}$ 重建 $\mathbf{x}$，确保配对数据中潜在表征的一致性。
• 对 $\mathbf{z}$ 施加推断不变性条件，要求配对 $\mathbf{x}$ 与 $\mathbf{y}$ 的后验 $q(\mathbf{z}|\mathbf{x})$ 与 $q(\mathbf{z}|\mathbf{y})$ 近似相等，从而实现从无配对数据中计算 ELBO。
• 推导出 ELBO 并证明在推断不变性假设下，无需配对样本即可计算，为在无配对数据上训练提供了数学严谨基础。
• 通过从学习到的联合分布 $p(\mathbf{x}, \mathbf{y})$ 中采样，生成合成配对数据，用于训练标准监督型图像恢复网络。
• 该方法假设噪声 $\mathbf{n}_x$ 与输入 $\mathbf{x}$ 独立，$\mathbf{n}_y$ 与输入 $\mathbf{y}$ 独立，并推导出 $q(\mathbf{z}|\mathbf{x}) = \mathbb{E}_{p(\mathbf{n}_x)}[q(\mathbf{z}|\mathbf{x} + \mathbf{n}_x)]$，从而在噪声扰动下实现鲁棒推断。

实验结果

研究问题

• RQ1 深度生成模型能否使用变分推断从未配对数据中学习干净与受损图像的联合分布？
• RQ2 共享潜在空间上的推断不变性条件是否允许在无配对数据下进行 ELBO 优化？
• RQ3 由模型生成的合成配对数据在支持下游图像恢复网络训练方面表现如何？
• RQ4 在推断不变性假设下，从无配对数据计算 ELBO 的理论依据是什么？
• RQ5 与基于 GAN 的方法相比，该方法在建模退化噪声分布方面表现如何？

主要发现

• 所提出的 LUD-VAE 方法仅使用无配对的干净与受损图像即可实现图像恢复模型的有效训练，完全消除了对配对数据收集的需求。
• 推断不变性条件确保了配对数据中后验分布 $q(\mathbf{z}|\mathbf{x})$ 与 $q(\mathbf{z}|\mathbf{y})$ 近似相等，从而允许从无配对样本中计算 ELBO。
• 理论分析表明，当噪声方差 $\sigma_{\mathbf{x}}, \sigma_{\mathbf{y}} \to \infty$ 且 $\sigma_{\mathbf{x}}/\sigma_{\mathbf{y}} \to 1$ 时，$\|q(\mathbf{z}|\mathbf{x}) - q(\mathbf{z}|\mathbf{y})\|_1$ 趋近于零，验证了在极限下推断不变性假设的合理性。
• 该方法生成的合成噪声分布比先前基于 GAN 的方法（如 DeFlow）更贴近真实噪声，如在 AIM2019 数据集图像块上的定性对比所示。
• 实验结果表明，该方法在图像去噪、超分辨率和低光照图像增强任务中均达到最先进性能，显著优于现有无配对学习基线方法。
• 即使在退化噪声复杂且非高斯分布的情况下，该模型仍能取得具有竞争力的结果，表明其对真实世界噪声特性的强鲁棒性。