[论文解读] Dual Reconstruction Nets for Image Super-Resolution with Gradient Sensitive Loss

Yong Guo, Qi Chen+6 more|arXiv (Cornell University)|Sep 19, 2018

Advanced Image Processing Techniques参考文献 27被引用 14

一句话总结

本文提出了一种带有梯度敏感损失（GS loss）的双重重建网络（DRN），用于图像超分辨率，有效提升了低频和高频内容的恢复效果。通过采用双学习方案，挖掘低分辨率与高分辨率图像之间的双向依赖关系，并结合基于梯度的损失以保留结构细节，DRN在多个基准测试中实现了最先进水平的PSNR与SSIM得分，包括在8×放大倍率下于Set5数据集上达到27.03 dB的PSNR。

ABSTRACT

Deep neural networks have exhibited promising performance in image super-resolution (SR) due to the power in learning the non-linear mapping from low-resolution (LR) images to high-resolution (HR) images. However, most deep learning methods employ feed-forward architectures, and thus the dependencies between LR and HR images are not fully exploited, leading to limited learning performance. Moreover, most deep learning based SR methods apply the pixel-wise reconstruction error as the loss, which, however, may fail to capture high-frequency information and produce perceptually unsatisfying results, whilst the recent perceptual loss relies on some pre-trained deep model and they may not generalize well. In this paper, we introduce a mask to separate the image into low- and high-frequency parts based on image gradient magnitude, and then devise a gradient sensitive loss to well capture the structures in the image without sacrificing the recovery of low-frequency content. Moreover, by investigating the duality in SR, we develop a dual reconstruction network (DRN) to improve the SR performance. We provide theoretical analysis on the generalization performance of our method and demonstrate its effectiveness and superiority with thorough experiments.

研究动机与目标

• 解决标准像素级损失函数在图像超分辨率中难以捕捉高频结构细节的局限性。
• 克服现有感知损失方法中泛化能力差且依赖预训练模型的问题。
• 利用低分辨率与高分辨率图像之间的双向依赖关系，提升超分辨率任务中的表征学习能力。
• 设计一种训练方案，通过理论分析与渐进式优化，增强模型泛化性能。
• 在不依赖外部预训练网络的前提下，实现定量指标（PSNR/SSIM）与感知质量的双重优越表现。

提出的方法

• 提出一种梯度敏感损失（GS loss），通过梯度幅值将图像分离为低频与高频分量，实现内容与结构的联合优化。
• 设计一种双重重建网络（DRN），同时学习正向（LR→HR）与反向（HR→LR）任务，利用任务对偶性提升特征学习能力。
• 实施一种渐进式、从粗到精的训练策略，对中间HR预测结果施加监督，以增强特征优化与梯度传播。
• 基于图像梯度幅值构建掩码，隔离高频区域，并选择性地应用GS loss，以更好保留边缘与纹理。
• DRN架构包含一个双重模块，强制正向与反向重建路径之间的一致性，从而提升泛化能力。
• 通过理论分析推导出双学习方案的一般化边界，表明其泛化能力优于先前方法。

实验结果

研究问题

• RQ1 在不依赖预训练网络的前提下，梯度敏感损失是否能有效提升图像超分辨率中高频结构细节的恢复能力？
• RQ2 利用低分辨率与高分辨率图像之间的双向依赖关系，对超分辨率性能有何影响？
• RQ3 渐进式双重重建训练方案是否能带来优于标准前馈网络的泛化能力与性能表现？
• RQ4 所提方法是否能在多种数据集与放大倍率下，同时实现PSNR/SSIM与感知质量的最先进水平？
• RQ5 双重重建框架提升泛化性能的理论依据是什么？

主要发现

• 所提出的DRN在8×放大倍率下于Set5数据集上实现了27.03 dB的PSNR，优于所有现有最先进方法，包括EDSR、DBPN与SRDenseNet。
• 在同一基准测试中，DRN在Set14上达到24.86 dB的PSNR，在BSDS100上达到24.83 dB，展现出在不同数据集上的稳定优越性。
• GS loss显著提升了基于梯度的PSNR表现，DRN在Set5上达到21.29 dB，Set14上为20.04 dB，BSDS100上为20.62 dB，优于SRGAN、SRResNet与DBPN。
• 消融实验表明，结合双重重建机制与渐进式结构可获得最高性能，相比基础基线模型，PSNR分别在Set5与Set14上提升0.28 dB与0.21 dB。
• 视觉对比显示，DRN生成的图像更清晰，对细纹理与边缘的保留效果更优，尤其在高频区域表现突出。
• 理论分析证实，双学习方案提升了泛化能力，其一般化边界优于先前工作，为实验性能增益提供了理论支持。