[论文解读] Approaching the Limit of Image Rescaling via Flow Guidance

Shang Li, Guixuan Zhang+4 more|arXiv (Cornell University)|Nov 9, 2021

Advanced Image Processing Techniques参考文献 36被引用 5

一句话总结

本文提出一种流引导重采样网络（FGRN），通过引入可逆流引导模块（FGM），消除了图像重采样中对双三次下采样低分辨率（LR）图像的依赖。FGM 实现了下采样表示与视觉上合理的 LR 图像之间的无损转换，从而支持下采样与上采样模块的端到端联合优化，实现最优高分辨率（HR）重建。该方法在参数量更少的情况下实现了最先进性能。

ABSTRACT

Image downscaling and upscaling are two basic rescaling operations. Once the image is downscaled, it is difficult to be reconstructed via upscaling due to the loss of information. To make these two processes more compatible and improve the reconstruction performance, some efforts model them as a joint encoding-decoding task, with the constraint that the downscaled (i.e. encoded) low-resolution (LR) image must preserve the original visual appearance. To implement this constraint, most methods guide the downscaling module by supervising it with the bicubically downscaled LR version of the original high-resolution (HR) image. However, this bicubic LR guidance may be suboptimal for the subsequent upscaling (i.e. decoding) and restrict the final reconstruction performance. In this paper, instead of directly applying the LR guidance, we propose an additional invertible flow guidance module (FGM), which can transform the downscaled representation to the visually plausible image during downscaling and transform it back during upscaling. Benefiting from the invertibility of FGM, the downscaled representation could get rid of the LR guidance and would not disturb the downscaling-upscaling process. It allows us to remove the restrictions on the downscaling module and optimize the downscaling and upscaling modules in an end-to-end manner. In this way, these two modules could cooperate to maximize the HR reconstruction performance. Extensive experiments demonstrate that the proposed method can achieve state-of-the-art (SotA) performance on both downscaled and reconstructed images.

研究动机与目标

• 为解决图像重采样中双三次 LR 引导的局限性，该局限性虽能提升下采样图像的视觉质量，但限制了上采样性能。
• 实现下采样与上采样模块的联合端到端优化，而不对下采样表示施加视觉逼真度的约束。
• 通过使下采样表示对上采样最优，最大化高分辨率重建性能。
• 设计一种轻量化、可逆的流引导模块（FGM），支持表示与视觉上更优的 LR 图像之间的无损转换。

提出的方法

• 引入一种可逆流引导模块（FGM），在下采样过程中将下采样表示转换为视觉上合理的 LR 图像，并在上采样过程中反向执行该过程。
• 利用 FGM 将视觉质量约束与下采样过程解耦，使下采样表示可纯粹针对上采样性能进行优化。
• 采用端到端训练策略，使下采样与上采样模块在无任何 LR 引导的条件下联合优化。
• 利用 FGM 的可逆性，确保从表示到 LR 图像及反向转换的无损性，从而为重建保留完整信息。
• 通过用 FGM 监督替代双三次 LR 引导，消除对双三次引导的依赖，使监督更契合上采样优化目标。
• 采用联合编码-解码框架进行网络训练，其中 FGM 确保视觉保真度的同时支持最优表示学习。

实验结果

研究问题

• RQ1 通过在下采样过程中移除双三次 LR 引导的约束，能否提升图像上采样性能？
• RQ2 可逆流引导模块能否在保持下采样图像视觉质量的前提下，实现下采样与上采样模块的端到端优化？
• RQ3 将下采样图像的视觉质量与表示学习解耦，是否能带来更好的高分辨率重建效果？
• RQ4 能否在不牺牲 LR 输出视觉逼真度的前提下，使下采样表示对上采样最优？

主要发现

• 所提出的 FGRN 在 ×4 缩放下于 Set5 数据集上实现了 36.16 dB 的峰值信噪比（PSNR）与 0.9460 的结构相似性（SSIM），优于基线模型与双三次引导模型。
• 在 DIV2K 数据集上，FGRN 在 ×4 缩放下实现了 35.14 dB 的 PSNR 与 0.9341 的 SSIM，接近重建性能的理论上限。
• 消融实验表明，DU_flow（使用 FGM）在下采样质量与 HR 重建方面均优于 DU_bic（双三次引导），后者因性能权衡而受限。
• 尽管 DU_none（无下采样引导）在理论上对上采样最优，但 FGM 模型仍实现更优的重建性能，归因于 FGM 维持了良好的视觉质量。
• 基于 FGM 的方法在参数量更少的情况下显著提升了重建性能，证明了其高效性与有效性。
• 实验结果表明，IRN 中的潜在变量并未提供特定的高频补偿，说明信息损失在上采样模块中是隐式学习的，支持 FGRN 中更优表示学习的必要性。