[论文解读] Lightweight and Efficient Image Super-Resolution with Block State-based Recursive Network

Junho Choi, Jun-Hyuk Kim+2 more|arXiv (Cornell University)|Nov 30, 2018

Advanced Image Processing Techniques参考文献 24被引用 12

一句话总结

本文提出基于块状态的递归网络（BSRN），一种轻量化且高效的超分辨率方法，通过引入专用的块状态来追踪特征历史，从而增强递归神经网络。通过将历史上下文与特征处理解耦，BSRN 在参数显著减少且推理速度更快的情况下，实现了最先进的 PSNR 和 SSIM 分数，优于以往的递归与非递归模型。

ABSTRACT

Recently, several deep learning-based image super-resolution methods have been developed by stacking massive numbers of layers. However, this leads too large model sizes and high computational complexities, thus some recursive parameter-sharing methods have been also proposed. Nevertheless, their designs do not properly utilize the potential of the recursive operation. In this paper, we propose a novel, lightweight, and efficient super-resolution method to maximize the usefulness of the recursive architecture, by introducing block state-based recursive network. By taking advantage of utilizing the block state, the recursive part of our model can easily track the status of the current image features. We show the benefits of the proposed method in terms of model size, speed, and efficiency. In addition, we show that our method outperforms the other state-of-the-art methods.

研究动机与目标

• 解决现有递归超分辨率网络效率低下的问题，这些网络将特征表示与历史状态追踪混淆。
• 在不牺牲图像质量的前提下，降低深度超分辨率网络的模型复杂度与计算成本。
• 通过使用专用块状态将递归状态与主特征处理路径解耦，提升特征学习能力。
• 为实时应用（如渐进式加载）提供渐进式图像生成能力。
• 在保持极小模型尺寸的同时，实现 PSNR 和 SSIM 的最先进性能。

提出的方法

• 在递归模块中引入块状态作为独立的存储单元，与主特征图分离，用于存储历史信息。
• 设计递归单元，使输入特征与块状态并行处理，并根据当前特征图更新块状态。
• 在递归模块内使用残差连接，以稳定训练并改善特征传播。
• 采用渐进式上采样策略，使网络在多个递归步骤中逐步生成更精细的输出。
• 在递归层之间应用参数共享，以最小化模型大小，同时保持表征能力。
• 将最终输出生成与递归状态解耦，使网络能够专注于特征优化而非状态管理。

实验结果

研究问题

• RQ1 在递归网络中引入专用块状态，是否能改善特征表示并降低超分辨率任务中的模型复杂度？
• RQ2 将递归状态与特征处理路径分离，对图像质量与推理速度有何影响？
• RQ3 轻量化递归架构在超分辨率任务中，能在多大程度上超越更深、更大的模型？
• RQ4 递归网络是否能够实现渐进式图像生成，从而支持如渐进式加载等应用？
• RQ5 所提出的块状态机制是否能带来优于现有递归与非递归方法的 PSNR 和 SSIM 分数？

主要发现

• 在 ×2 缩放的 Set5 数据集上，BSRN 达到 34.32 dB 的最高 PSNR，优于所有对比方法，包括 CARN 和 DSRN。
• 在 ×2 缩放的 Urban100 数据集上，BSRN 实现 32.14 dB 的 PSNR 和 0.8983 的 SSIM，尽管参数量仅为 DRCN 的 30%，仍超越 DRCN、DRRN 和 DSRN。
• 在 ×2 缩放下模型仅使用 779K 参数，在 ×4 缩放下为 742K 参数，显著少于 DRCN（1.77M）和 DSRN（约 1.2M），同时保持更优性能。
• 如图 6 所示，BSRN 生成的纹理更清晰，伪影更少，尤其在 Urban100 数据集的复杂场景中表现突出。
• 该模型支持渐进式图像生成，使中间输出可用于实时或带宽受限的应用。
• BSRN 在更小的模型尺寸（×2 时为 779K）下，实现与 CARN（1.1M 参数）相当或更优的性能，证明了块状态设计的高效性。