[论文解读] Image Super-Resolution via Dual-State Recurrent Networks

Wei Han, Shiyu Chang+4 more|arXiv (Cornell University)|May 7, 2018

Advanced Image Processing Techniques参考文献 39被引用 21

一句话总结

本文提出了一种用于图像超分辨率的双状态循环网络（DSRN），通过双向循环反馈联合建模低分辨率（LR）和高分辨率（HR）特征。通过将具有HR到LR延迟反馈的双状态RNN展开，DSRN在参数量和内存占用更低的情况下实现了最先进性能，在DIV2K基准测试中优于EDSR+等方法。

ABSTRACT

Advances in image super-resolution (SR) have recently benefited significantly from rapid developments in deep neural networks. Inspired by these recent discoveries, we note that many state-of-the-art deep SR architectures can be reformulated as a single-state recurrent neural network (RNN) with finite unfoldings. In this paper, we explore new structures for SR based on this compact RNN view, leading us to a dual-state design, the Dual-State Recurrent Network (DSRN). Compared to its single state counterparts that operate at a fixed spatial resolution, DSRN exploits both low-resolution (LR) and high-resolution (HR) signals jointly. Recurrent signals are exchanged between these states in both directions (both LR to HR and HR to LR) via delayed feedback. Extensive quantitative and qualitative evaluations on benchmark datasets and on a recent challenge demonstrate that the proposed DSRN performs favorably against state-of-the-art algorithms in terms of both memory consumption and predictive accuracy.

研究动机与目标

• 通过利用参数共享和循环结构，解决深度超分辨率网络中的效率低下和过拟合问题。
• 探索一种新颖的双状态循环架构，使其在低分辨率和高分辨率特征空间中同时运行。
• 通过引入HR状态到LR状态的延迟反馈，实现LR与HR状态之间的双向信息流动，以改善特征学习。
• 在减少模型大小和内存消耗的同时实现高性能，尤其适用于资源受限的部署场景。

提出的方法

• DSRN将图像超分辨率建模为双状态循环网络的有限展开，其中一个状态在低分辨率下运行，另一个在高分辨率下运行。
• 网络使用转置卷积连接，将LR状态的特征传递到HR状态，实现前向信息流动。
• 引入延迟反馈机制，将HR状态的特征反馈至LR状态，实现双向特征优化。
• 模型在展开步骤之间采用权重共享，减少参数量并提升泛化能力。
• 最终预测通过所有展开步骤中特征的加权平均形成，增强鲁棒性。
• 该架构采用端到端标准优化进行训练，使用PSNR、SSIM和IFC作为评估指标。

实验结果

研究问题

• RQ1 与单状态RNN相比，具有双向反馈的双状态循环网络是否能提升图像超分辨率性能？
• RQ2 从高分辨率状态到低分辨率状态引入延迟反馈，对特征学习和重建质量有何影响？
• RQ3 双状态设计在多大程度上提升了超分辨率网络中的参数效率和内存效率？
• RQ4 所提出的DSRN是否在基准数据集上以更少的参数量实现与最先进方法相当的性能？

主要发现

• 在NTIRE SR 2017挑战赛中，DSRN在所有缩放因子下均优于其他方法（包括EDSR+），在PSNR和SSIM指标上表现更优。
• 在仅使用91张训练图像的Set14数据集上，DSRN取得了具有竞争力的结果，优于VDSR、DRRN和DRCN等方法。
• 在DIV2K数据集上，DSRN在×3放大时达到34.52 dB的PSNR，性能与EDSR+相当，但参数量更少。
• 消融实验表明，双状态设计和延迟反馈均显著提升性能，仅反馈机制本身在所有缩放级别上均带来一致的性能增益。
• 参数-PSNR对比显示，DSRN在模型大小与PSNR之间表现出有利的权衡，且在NVIDIA Titan X上每张图像的推理时间为0.4秒。
• 视觉结果表明，DSRN在纹理锐度和伪影减少方面优于对比方法，尤其在高频细节恢复方面表现更优。