[论文解读] Designing a Practical Degradation Model for Deep Blind Image Super-Resolution

Kai Zhang, Jingyun Liang+2 more|arXiv (Cornell University)|Mar 25, 2021

Infrared Target Detection Methodologies被引用 41

一句话总结

本文提出一个大规模、真实感强的退化模型，该模型对模糊、下采样和噪声进行随机洗牌，以训练深度盲单图像超分辨率（SISR）模型，从而在真实世界退化上提升性能。它使用从高分辨率图像生成的合成配对数据来训练 BSRNet/BSRGAN。

ABSTRACT

It is widely acknowledged that single image super-resolution (SISR) methods would not perform well if the assumed degradation model deviates from those in real images. Although several degradation models take additional factors into consideration, such as blur, they are still not effective enough to cover the diverse degradations of real images. To address this issue, this paper proposes to design a more complex but practical degradation model that consists of randomly shuffled blur, downsampling and noise degradations. Specifically, the blur is approximated by two convolutions with isotropic and anisotropic Gaussian kernels; the downsampling is randomly chosen from nearest, bilinear and bicubic interpolations; the noise is synthesized by adding Gaussian noise with different noise levels, adopting JPEG compression with different quality factors, and generating processed camera sensor noise via reverse-forward camera image signal processing (ISP) pipeline model and RAW image noise model. To verify the effectiveness of the new degradation model, we have trained a deep blind ESRGAN super-resolver and then applied it to super-resolve both synthetic and real images with diverse degradations. The experimental results demonstrate that the new degradation model can help to significantly improve the practicability of deep super-resolvers, thus providing a powerful alternative solution for real SISR applications.

研究动机与目标

• 激励并设计一个退化模型，使之比双三次插值(bicubic)或简单的传统模型更能捕捉真实图像的退化。
• 实现无限制生成成对的低分辨率-高分辨率数据，而无需对齐问题，以用于监督式盲SISR训练。
• 使用所提出的退化模型训练和评估深度盲SISR网络（BSRNet/BSRGAN）。
• 展示盲SR在合成和真实退化图像上的实用性提升。

提出的方法

• 提出一个包含三个关键因素（模糊、下采样、噪声）的退化模型，通过各向同性和各向异性高斯模糊、多种下采样算子以及多样化的噪声类型（高斯噪声、JPEG 压缩、处理后的相机传感器噪声）进行扩展。
• 引入退化洗牌策略，随机对退化步骤进行排序，以扩展退化空间。
• 通过两个高斯卷积对高分辨率（HR）模糊和低分辨率（LR）模糊进行建模；应用四种下采样选项（最近邻、双线性、双三次、下采样-上采样）；使用 AWGN、高斯噪声、以及处理过的 RAW/ISP 噪声来合成噪声。
• 通过对核大小、模糊宽度、旋转角度和下采样尺度进行随机采样，生成大量多样化的 LR 图像。
• 应用两次 JPEG 压缩（质量在 [30,95]）并进行最后一次 JPEG 步骤，以模拟真实世界的伪影。
• 利用一个反向-前向 ISP 流水线从 RAW 数据合成相机传感器噪声，使用多台真实相机组成 ISP 池。

实验结果

研究问题

• RQ1 一个在功能上更丰富且随机洗牌的退化模型是否比传统模型更好地覆盖真实退化空间？
• RQ2 在由所提出的退化模型生成的数据上训练盲SISR模型，是否能提升在真实退化图像上的性能？
• RQ3 使用新退化模型训练的盲SISR网络在合成和真实数据集上的表现与现有方法相比如何？
• RQ4 在所提出的退化模型下使用 BSRNet/BSRGAN 的定性和定量收益是什么？

主要发现

• 所提出的退化模型通过结合两个模糊卷积、多种下采样方法以及多样化的噪声类型，扩展了退化空间，超越了 bicubic/传统形状。
• 随机退化洗牌使模型能够覆盖多样的真实世界退化，并将若干现有退化方案作为特例纳入其中。
• 在合成的 DIV2K4D 数据上，BSRNet 获得了最佳总体 PSNR；而在所测试的退化条件下，BSRGAN 获得最佳感知（LPIPS）结果。
• 在 RealSRSet 的真实图像上，BSRNet 提供更强的非参考 IQA 性能，并且在视觉上比竞争方法更干净。
• 该研究强调了对实际 SISR 应用进行准确退化建模的重要性，并显示大型容量网络能够跨越多样化的退化进行泛化。