[论文解读] Deep Back-Projection Networks For Super-Resolution

Muhammad Haris, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Mar 7, 2018

Advanced Image Processing Techniques参考文献 42被引用 26

一句话总结

本文提出深度反投影网络（DBPN），一种用于单图像超分辨率的新型深度学习架构，通过引入带有误差反馈的迭代上采样与下采样机制，提升高分辨率图像重建质量。通过引入相互连接的上采样与下采样阶段，并结合密集特征拼接，DBPN在大缩放因子（如8×）下实现最先进性能，在Set5数据集上达到27.21 dB的PSNR。

ABSTRACT

The feed-forward architectures of recently proposed deep super-resolution networks learn representations of low-resolution inputs, and the non-linear mapping from those to high-resolution output. However, this approach does not fully address the mutual dependencies of low- and high-resolution images. We propose Deep Back-Projection Networks (DBPN), that exploit iterative up- and down-sampling layers, providing an error feedback mechanism for projection errors at each stage. We construct mutually-connected up- and down-sampling stages each of which represents different types of image degradation and high-resolution components. We show that extending this idea to allow concatenation of features across up- and down-sampling stages (Dense DBPN) allows us to reconstruct further improve super-resolution, yielding superior results and in particular establishing new state of the art results for large scaling factors such as 8x across multiple data sets.

研究动机与目标

• 解决纯前馈深度超分辨率网络在大缩放因子下难以建模复杂低分辨率到高分辨率依赖关系的局限性。
• 通过引入受迭代反投影启发的误差反馈机制，实现特征的迭代优化，从而提升图像重建质量。
• 通过交替进行上采样与下采样阶段，建模低分辨率与高分辨率图像表示之间的相互关系。
• 通过在上采样与下采样阶段之间引入密集连接，增强特征复用与表征能力。
• 在多个基准数据集上实现超分辨率的最先进性能，尤其在8×等大缩放因子下表现卓越。

提出的方法

• 网络采用相互连接的上采样与下采样阶段，交替运行以建模低分辨率与高分辨率特征之间的双向关系。
• 误差反馈机制在每个阶段同时计算上投影误差与下投影误差，以迭代方式优化特征并校正重建误差。
• 架构通过深度拼接所有上采样阶段的高分辨率特征，使网络能直接利用多尺度表征，无需顺序传播。
• 在每个上采样与下采样阶段内部应用密集连接，以促进特征复用并改善梯度流动。
• 网络采用端到端训练，损失函数最小化预测高分辨率图像与真实高分辨率图像之间的像素级差异。
• 该设计受经典迭代反投影算法启发，但在可学习的深层神经网络框架中实现，并支持反向传播。

实验结果

研究问题

• RQ1 与标准前馈网络相比，通过上采样与下采样阶段的迭代误差反馈是否能提升超分辨率性能？
• RQ2 上采样与下采样阶段之间的相互连接如何增强对低分辨率与高分辨率图像关系的建模能力？
• RQ3 在多个上采样阶段之间进行特征的密集拼接，在多大程度上提升了重建质量与泛化能力？
• RQ4 所提出的DBPN架构是否在性能上超越现有最先进方法，尤其是在8×等大缩放因子下？
• RQ5 与需要长时间训练的EDSR等方法相比，DBPN是否能在更少参数或更短训练时间内实现更优性能？

主要发现

• 在8×超分辨率下，DBPN在Set5数据集上达到27.21 dB的PSNR，显著优于先前方法如EDSR（26.97 dB）和LapSRN（26.14 dB）。
• Dense DBPN变体进一步提升性能，在Set5数据集8×缩放下实现27.21 dB的PSNR，创下大缩放因子下的新最先进纪录。
• 在4×缩放下，DBPN在Set5上达到32.47 dB的PSNR，超过EDSR（32.46 dB）和LapSRN（31.54 dB），展现出持续的优越性。
• 网络的误差反馈机制有效减少重建伪影，并显著提升高频细节恢复能力，尤其在高倍率放大场景中表现突出。
• 通过深度拼接与密集连接，网络实现更优的特征复用与表征能力，从而生成更鲁棒、更精确的超分辨率输出。
• DBPN在多个数据集（包括Set5、Set14和Urban100）上均建立新最先进结果，尤其在8×缩放下表现卓越。