[论文解读] Deep Back-Projection Networks for Single Image Super-resolution

Muhammad Haris, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Image Processing Techniques参考文献 13被引用 35

一句话总结

本文提出 Deep Back-Projection Networks (DBPN)，通过带误差反馈的迭代上采样与下采样投影单元来提升单图像超分辨率，在多个数据集上达到最先进的结果，尤其在大尺度如8x时。

ABSTRACT

Previous feed-forward architectures of recently proposed deep super-resolution networks learn the features of low-resolution inputs and the non-linear mapping from those to a high-resolution output. However, this approach does not fully address the mutual dependencies of low- and high-resolution images. We propose Deep Back-Projection Networks (DBPN), the winner of two image super-resolution challenges (NTIRE2018 and PIRM2018), that exploit iterative up- and down-sampling layers. These layers are formed as a unit providing an error feedback mechanism for projection errors. We construct mutually-connected up- and down-sampling units each of which represents different types of low- and high-resolution components. We also show that extending this idea to demonstrate a new insight towards more efficient network design substantially, such as parameter sharing on the projection module and transition layer on projection step. The experimental results yield superior results and in particular establishing new state-of-the-art results across multiple data sets, especially for large scaling factors such as 8x.

研究动机与目标

• 通过利用低分辨率与高分辨率表示之间的相互依赖，推动改进的 LR-to-HR 学习。
• 开发一个端到端可训练的架构，包含迭代的上投影和下投影单元。
• 引入误差反馈，通过投影误差来细化高分辨特征。
• 探索网络设计的改进，如参数共享和投影步骤转换，以提高效率。
• 在标准超分基准数据集上，对较大缩放因子（如8x）显示具有竞争力或最先进的性能。

提出的方法

• 提出将 LR 特征映射到 HR 再映射回 LR 的迭代上投影和下投影单元，形成一个误差纠正的反馈回路。
• 使用深度级联（深度拼接）将所有上投影单元的 HR特征图融合用于重建。
• 定义具有残差学习式机制和大感受野（8x8、12x12 卷积核）的上投影/下投影单元，以捕捉 HR/LR 关系。
• 引入密集连接（Dense DBPN），以重用特征、在不使用归一化/BatchNorm 的情况下改善学习。
• 引入循环变体（共享投影、过渡层）以减少参数并扩大感受野。
• 尝试残差式 DBPN，从插值后的 LR 图像开始，在末尾添加重建残差。

实验结果

研究问题

• RQ1 带误差反馈的迭代性互相的 LR-HR 投影能否改善 SR 质量，尤其是在大尺度因子下？
• RQ2 架构变体（密集投影、循环/过渡层、残差学习）相较于基线 DBPN 是否在准确性和参数效率上有提升？
• RQ3 跨投影单元的特征拼接对 SR 重建质量有何影响？
• RQ4 误差反馈(EF) 如何影响标准 SR 基准上的 PSNR 和视觉清晰度？

主要发现

• DBPN 在 NTIRE2018 和 PIRM2018 SR 挑战赛中取得了最先进的性能。
• DBPN 的变体在 Set5、Set14、BSDS100、Urban100 和 Manga109 的 4x SR 上相对于若干基线显示出更高的 PSNR/SSIM，在 8x 时尤为显著。
• Dense DBPN（密集投影单元）在性能上优于非密集变体，尤其是在具有挑战性的数据集上。
• 循环和残差设计（DBPN-RES-MR64-3）在比一些基线更少的参数下提供强结果，4x 达到 32.65 dB（Set5）和 29.03 dB（Set14），Manga109（4x）达到 31.74 dB。
• 误差反馈（EF）显著提升 SR 质量，例如 DBPN-S 采用 EF 相比不带 EF 在 Set5 提升 0.53 dB，在 Set14 提升 0.26 dB。
• 性能最优的配置（DBPN-RES-MR64-3）在参数更少于若干先前方法的情况下取得竞争力结果，凸显所提设计的效率提升。