[论文解读] Learning to Zoom-in via Learning to Zoom-out: Real-world Super-resolution by Generating and Adapting Degradation

Dong Gong, Wei Sun+3 more|arXiv (Cornell University)|Jan 8, 2020

Advanced Image Processing Techniques参考文献 32被引用 4

一句话总结

该论文提出了一种新颖的无配对真实世界超分辨率方法，通过训练退化生成网络从高分辨率图像中合成逼真的低分辨率图像，从而避免了对齐的低分辨率-高分辨率图像对的需求，并在超分辨率训练过程中通过特征级对齐最小化域差距。该方法在真实世界数据集上实现了最先进性能，甚至优于在配对数据上训练的方法。

ABSTRACT

Most learning-based super-resolution (SR) methods aim to recover high-resolution (HR) image from a given low-resolution (LR) image via learning on LR-HR image pairs. The SR methods learned on synthetic data do not perform well in real-world, due to the domain gap between the artificially synthesized and real LR images. Some efforts are thus taken to capture real-world image pairs. The captured LR-HR image pairs usually suffer from unavoidable misalignment, which hampers the performance of end-to-end learning, however. Here, focusing on the real-world SR, we ask a different question: since misalignment is unavoidable, can we propose a method that does not need LR-HR image pairing and alignment at all and utilize real images as they are? Hence we propose a framework to learn SR from an arbitrary set of unpaired LR and HR images and see how far a step can go in such a realistic and "unsupervised" setting. To do so, we firstly train a degradation generation network to generate realistic LR images and, more importantly, to capture their distribution (i.e., learning to zoom out). Instead of assuming the domain gap has been eliminated, we minimize the discrepancy between the generated data and real data while learning a degradation adaptive SR network (i.e., learning to zoom in). The proposed unpaired method achieves state-of-the-art SR results on real-world images, even in the datasets that favor the paired-learning methods more.

研究动机与目标

• 解决超分辨率中合成与真实世界低分辨率图像之间的域差距问题。
• 消除真实世界超分辨率中对配对、对齐的低分辨率-高分辨率图像数据的需求。
• 开发一种仅使用无配对的低分辨率和高分辨率图像集来学习真实图像超分辨率的方法。
• 通过对抗训练和循环一致性训练最小化生成图像与真实低分辨率图像之间的差异。
• 通过对齐真实与生成数据分布的网络响应，提升模型的鲁棒性与泛化能力。

提出的方法

• 训练基于循环生成对抗网络（cycle-GAN）的退化生成网络，从高分辨率图像中合成逼真的低分辨率图像，模拟真实世界的退化过程。
• 网络使用对抗损失和循环一致性损失，无需配对监督即可学习真实低分辨率图像的分布。
• 通过最小化真实与生成低分辨率图像之间的特征级域差异，训练退化自适应的超分辨率网络。
• 通过在真实与生成低分辨率输入下对超分辨率网络的中间层和输出层特征进行对齐，实现特征级对齐。
• 该方法在无监督、无配对设置下运行，避免依赖图像配对或预配准。
• 在标准与非重叠学习设置下评估框架，以测试其鲁棒性。

实验结果

研究问题

• RQ1 是否可以在无需配对或对齐的低分辨率-高分辨率图像数据的情况下，有效学习真实世界超分辨率？
• RQ2 退化生成网络是否能够准确建模真实世界低分辨率图像的复杂分布？
• RQ3 在特征层级最小化域差距是否能提升真实世界图像上的超分辨率性能？
• RQ4 所提出的无配对方法与配对及错位训练基线在真实世界数据集上的表现如何比较？
• RQ5 该方法是否能在低分辨率与高分辨率图像集之间无重叠内容的情况下，泛化到多样的真实世界退化模式？

主要发现

• 所提方法在真实世界超分辨率基准上实现了最先进性能，优于在配对数据上训练的模型，如 RCAN-Real 和 ESRGAN-Bic。
• 视觉对比显示，该方法生成的图像在纹理上更清晰，伪影更少，尤其在文本和精细图案等复杂区域表现更优。
• 退化生成网络成功捕捉了真实的退化特征，生成的低分辨率图像在分布上与真实世界低分辨率图像高度相似。
• 即使在非重叠学习设置下（低分辨率与高分辨率图像无共同内容），该方法仍保持强劲性能，展现出良好的鲁棒性。
• 在 RealSR、SR-RGB 和 City100 数据集上的定量结果证实，与先前的无配对方法（如 CinCGAN）相比，PSNR 和 SSIM 指标持续提升。
• 与基于合成双三次退化的基线模型相比，该方法减少了模糊和结构伪影，表明其对真实世界数据具有更好的泛化能力。