[论文解读] Downscaled Representation Matters: Improving Image Rescaling with Collaborative Downscaled Images

Bingna Xu, Yong Guo+3 more|arXiv (Cornell University)|Nov 19, 2022

Seismic Imaging and Inversion Techniques被引用 4

一句话总结

本文提出层级协作下采样（HCD），一种新颖的方法，通过在重建损失上进行梯度下降，迭代优化高分辨率（HR）和低分辨率（LR）表示，从而提升图像缩放性能。通过梯度下降生成协作的LR样本，HCD在不增加上采样延迟的前提下，将重建性能提升最高达1.29 dB PSNR。

ABSTRACT

Deep networks have achieved great success in image rescaling (IR) task that seeks to learn the optimal downscaled representations, i.e., low-resolution (LR) images, to reconstruct the original high-resolution (HR) images. Compared with super-resolution methods that consider a fixed downscaling scheme, e.g., bicubic, IR often achieves significantly better reconstruction performance thanks to the learned downscaled representations. This highlights the importance of a good downscaled representation in image reconstruction tasks. Existing IR methods mainly learn the downscaled representation by jointly optimizing the downscaling and upscaling models. Unlike them, we seek to improve the downscaled representation through a different and more direct way: optimizing the downscaled image itself instead of the down-/upscaling models. Specifically, we propose a collaborative downscaling scheme that directly generates the collaborative LR examples by descending the gradient w.r.t. the reconstruction loss on them to benefit the IR process. Furthermore, since LR images are downscaled from the corresponding HR images, one can also improve the downscaled representation if we have a better representation in the HR domain. Inspired by this, we propose a Hierarchical Collaborative Downscaling (HCD) method that performs gradient descent in both HR and LR domains to improve the downscaled representations. Extensive experiments show that our HCD significantly improves the reconstruction performance both quantitatively and qualitatively. Moreover, we also highlight the flexibility of our HCD since it can generalize well across diverse IR models.

研究动机与目标

• 通过直接优化下采样表示而非仅依赖联合模型训练，来提升图像缩放性能。
• 通过学习更优的自适应下采样表示，解决超分辨率中固定下采样核的局限性。
• 开发一种通过HR和LR域中协作学习来提升重建质量的方法。
• 通过避免上采样阶段的额外计算开销，确保方法的实用性。

提出的方法

• 提出一种协作下采样方案，在LR表示上执行梯度下降以最小化重建损失，从而生成改进的下采样样本。
• 引入一种分层优化框架，交替优化HR和LR域中的表示，以细化下采样输出。
• 采用双层优化公式来建模HR和LR表示之间的依赖关系，并在两个域中进行迭代优化。
• 使用扰动预算和内层步长来控制协作表示学习过程中更新的幅度和稳定性。
• 通过相对于重建损失的梯度下降生成协作样本，重点关注边缘和轮廓等高频区域。
• 通过在HR和LR表示之间交替更新求解优化问题，从原始图像开始，通过多轮迭代进行优化。

实验结果

研究问题

• RQ1 直接优化下采样表示（而非模型参数）是否能带来更好的图像重建性能？
• RQ2 在HR和LR域中进行分层优化如何提升下采样表示的质量？
• RQ3 迭代优化对最终重建质量与收敛行为有何影响？
• RQ4 所提方法能否在不增加上采样延迟的前提下，泛化到多种图像缩放模型？

主要发现

• 当通过梯度下降生成协作LR样本时，HCD在PSNR上相比基线方法HCFlow最高提升1.29 dB。
• 分层协作学习方案相比仅使用HR或LR协作样本，性能提升0.22–0.3 dB，表明两域之间存在协同增益。
• 性能在15轮迭代后趋于稳定，N=15后增益可忽略不计，表明在少量步骤内即可收敛。
• 15轮迭代仅增加3.97秒下采样延迟，而上采样阶段未引入额外延迟。
• 可视化结果显示，扰动集中于眼睛和蝴蝶翅膀等高频区域，表明对细节的针对性增强。
• 该方法在不同IR模型上具有良好的泛化能力，如IRN和HCFlow等不同主干网络上均表现出一致的性能提升。