[论文解读] Blind Super-Resolution for Remote Sensing Images via Conditional Stochastic Normalizing Flows

Hanlin Wu, Ning Ni+2 more|arXiv (Cornell University)|Oct 14, 2022

Advanced Image Processing Techniques被引用 7

一句话总结

本文提出 BlindSRSNF，一种基于随机归一化流（SNF）的盲超分率框架，用于遥感图像，显式建模在给定低分辨率输入下高分辨率图像的条件概率分布。通过利用对比学习学习退化表征，并在反向扩散过程中采用区间采样，该方法在训练稳定性方面表现更优，伪纹理伪影更少，且在感知质量方面达到当前最优水平，优于基于 GAN 的方法。

ABSTRACT

Remote sensing images (RSIs) in real scenes may be disturbed by multiple factors such as optical blur, undersampling, and additional noise, resulting in complex and diverse degradation models. At present, the mainstream SR algorithms only consider a single and fixed degradation (such as bicubic interpolation) and cannot flexibly handle complex degradations in real scenes. Therefore, designing a super-resolution (SR) model that can cope with various degradations is gradually attracting the attention of researchers. Some studies first estimate the degradation kernels and then perform degradation-adaptive SR but face the problems of estimation error amplification and insufficient high-frequency details in the results. Although blind SR algorithms based on generative adversarial networks (GAN) have greatly improved visual quality, they still suffer from pseudo-texture, mode collapse, and poor training stability. In this article, we propose a novel blind SR framework based on the stochastic normalizing flow (BlindSRSNF) to address the above problems. BlindSRSNF learns the conditional probability distribution over the high-resolution image space given a low-resolution (LR) image by explicitly optimizing the variational bound on the likelihood. BlindSRSNF is easy to train and can generate photo-realistic SR results that outperform GAN-based models. Besides, we introduce a degradation representation strategy based on contrastive learning to avoid the error amplification problem caused by the explicit degradation estimation. Comprehensive experiments show that the proposed algorithm can obtain SR results with excellent visual perception quality on both simulated LR and real-world RSIs.

研究动机与目标

• 解决真实世界遥感图像中复杂多变的退化问题，包括多种模糊核和噪声水平。
• 克服现有盲超分辨率方法依赖固定退化模型或在退化估计中出现误差放大的局限性。
• 相比基于 GAN 的盲超分辨率模型，提升视觉质量与训练稳定性，后者常因模式崩溃和伪纹理伪影而受限。
• 开发一种灵活的推理机制，通过采样区间控制纹理丰富度，而无需重新训练。
• 利用归一化流实现从低分辨率到高分辨率图像空间的端到端条件概率分布学习。

提出的方法

• 采用随机归一化流（SNF）建模在给定低分辨率输入下高分辨率图像的条件概率分布，支持对负对数似然（NLL）的显式优化。
• 引入一种条件反向扩散过程，其中低分辨率图像与一个学习得到的退化表征向量共同作为高分辨率输出生成的条件。
• 使用逐像素折叠和像素打乱操作，降低特征图维度，提升基于流的生成模型中的采样效率。
• 在反向过程中实施区间采样策略，以在推理速度与重建质量之间取得平衡，采样区间控制纹理丰富度。
• 应用对比学习，学习一个鲁棒的退化表征向量，以捕捉模糊与噪声特征，而无需显式估计退化核。
• 采用变分下界优化似然函数，相比 GAN 中的对抗训练，简化了训练过程。

实验结果

研究问题

• RQ1 基于流的生成模型是否可通过显式似然优化，在遥感图像的盲超分辨率任务中实现优于基于 GAN 的方法的视觉质量与训练稳定性？
• RQ2 通过对比学习实现的退化表征学习，如何提升模型对未知且多变退化的鲁棒性？
• RQ3 在反向扩散过程中，何种采样区间能实现感知质量、推理速度与伪影抑制之间的最佳平衡？
• RQ4 该模型是否能在不依赖退化先验或迭代核估计的情况下，生成高质量、逼真的超分辨率图像？
• RQ5 与现有盲超分辨率方法相比，该方法在多大程度上减少了伪纹理伪影与空间失真？

主要发现

• 在 GeoEye-1 数据集上，所提出的 BlindSRSNF 在所有对比方法中取得了最佳的 Fréchet Inception Distance（FID）与 LPIPS 分数，当采样区间设为 50 时，FID = 66.65，LPIPS = 0.1485。
• 在 GeoEye-1 数据集上，当模糊核 λ₁=3.6，λ₂=2.4，θ=0，噪声水平为 10 时，模型的 PSNR 达到 20.82 dB，感知质量优于基线模型。
• 将采样区间设为 50 时，在视觉质量（低 FID 与 LPIPS）、PSNR 和推理速度之间实现了最佳权衡，运行时间为 0.45 秒。
• 消融实验证实，退化表征学习模块使 PSNR 提升 0.3–0.5 dB，并显著减少伪纹理。
• 与基于 GAN 的基线相比，该模型生成的纹理更清晰、更逼真，尤其在农田和城市等复杂区域表现更优，视觉对比结果清晰显示。
• 该方法在推理阶段具有高度灵活性：通过调整采样区间，用户可无需重新训练即可控制纹理丰富度，这是基于 GAN 的模型所不具备的能力。