[论文解读] Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution

Yong Guo, Jian Chen+6 more|arXiv (Cornell University)|Mar 16, 2020

Advanced Image Processing Techniques参考文献 51被引用 32

一句话总结

论文提出 Dual Regression Networks (DRN) 用于单图像超分辨率，引入双重回归约束，从 HR 重构 LR，形成闭环，使 SR 与对未配对的现实世界数据更好适应。

ABSTRACT

Deep neural networks have exhibited promising performance in image super-resolution (SR) by learning a nonlinear mapping function from low-resolution (LR) images to high-resolution (HR) images. However, there are two underlying limitations to existing SR methods. First, learning the mapping function from LR to HR images is typically an ill-posed problem, because there exist infinite HR images that can be downsampled to the same LR image. As a result, the space of the possible functions can be extremely large, which makes it hard to find a good solution. Second, the paired LR-HR data may be unavailable in real-world applications and the underlying degradation method is often unknown. For such a more general case, existing SR models often incur the adaptation problem and yield poor performance. To address the above issues, we propose a dual regression scheme by introducing an additional constraint on LR data to reduce the space of the possible functions. Specifically, besides the mapping from LR to HR images, we learn an additional dual regression mapping estimates the down-sampling kernel and reconstruct LR images, which forms a closed-loop to provide additional supervision. More critically, since the dual regression process does not depend on HR images, we can directly learn from LR images. In this sense, we can easily adapt SR models to real-world data, e.g., raw video frames from YouTube. Extensive experiments with paired training data and unpaired real-world data demonstrate our superiority over existing methods.

研究动机与目标

• 将 SR 的本质问题描述为一个病态问题，存在无穷多可能的 LR→HR 映射。
• 通过双重（LR 重构）约束减少 SR 映射的函数空间。
• 在没有 HR 对应物的情况下，启用从未配对的现实世界 LR 数据进行学习。
• 提供一个将成对的合成数据与未配对的现实世界数据结合的训练框架。

提出的方法

• 引入原始任务（LR→HR）和对偶任务（HR→LR）回归，形成闭环。
• 使用基于 U-Net 的原始网络，含 RCAB 块用于 SR 重构。
• 实现一个轻量级的对偶网络，将下采样学习为 HR→LR 重构。
• 优化联合损失：原始 SR 损失＋加权的对偶重构损失（λ）。
• 通过一种适应算法将成对的合成数据与现实世界 LR 数据混合，扩展到未配对数据。
• 提供基于 Rademacher 复杂度的理论泛化分析。

实验结果

研究问题

• RQ1 双重回归约束是否能够缩小 LR→HR 映射的空间以提升 SR 性能？
• RQ2 学习 LR 重构映射是否能够实现对未配对的现实世界 LR 数据的有效适应？
• RQ3 DRN 在成对 SR 基准上与在未配对现实世界数据上的适应性能相比如何？
• RQ4 对性能影响的双重损失权重 λ 和数据比率 ρ 有何影响？
• RQ5 与传统有监督 SR 相比，DRN 模型是否提供理论上的泛化优势？

主要发现

• 在成对数据上，采用带双重回归的 DRN 在多项前沿基线之上提供更清晰、更准确的 SR 结果，尤其是在 8× 超分辨率方面。
• 双重回归约束缩小了函数空间并提高了 SR 重构质量。
• DRN 能适应现实世界未配对的 LR 数据，在自适应场景中实现优于 CycleGAN 基方法及其他基线的方法。
• 该适应算法有效利用未配对现实世界数据与成对合成数据的混合，推荐的未配对数据比例 rho 约为 30%。
• 理论泛化界限表明，双重回归方案的界限小于传统有监督 SR，在充足的数据和模型容量下支持更好的泛化。