[论文解读] Fast, Accurate, and Lightweight Super-Resolution with Cascading Residual Network

Namhyuk Ahn, Byungkon Kang+1 more|arXiv (Cornell University)|Mar 23, 2018

Advanced Image Processing Techniques被引用 8

一句话总结

本文提出CARN（级联残差网络）及其轻量化变体CARN-M，用于实现快速、准确且高效的单图像超分辨率。通过在残差网络架构中整合局部与全局级联残差连接，CARN增强了特征传播与梯度流动，实现了参数量和计算量显著减少的最先进性能——CARN-M在仅损失0.29 PSNR的情况下，将参数量减少5倍、计算量减少近4倍。

ABSTRACT

In recent years, deep learning methods have been successfully applied to single-image super-resolution tasks. Despite their great performances, deep learning methods cannot be easily applied to real-world applications due to the requirement of heavy computation. In this paper, we address this issue by proposing an accurate and lightweight deep network for image super-resolution. In detail, we design an architecture that implements a cascading mechanism upon a residual network. We also present variant models of the proposed cascading residual network to further improve efficiency. Our extensive experiments show that even with much fewer parameters and operations, our models achieve performance comparable to that of state-of-the-art methods.

研究动机与目标

• 解决基于深度学习的超分辨率方法因计算成本过高而难以在真实场景中应用的问题。
• 设计一种轻量化但高精度的深度学习模型，适用于移动设备和实时视频流应用。
• 克服现有轻量化模型仅关注参数量减少、而忽略计算量或推理速度的局限性。
• 开发一种级联残差架构，以提升多层级特征之间的信息流动与梯度传播。
• 通过高效的残差模块与递归网络设计优化模型效率，以实现实际部署的可行性。

提出的方法

• 提出一种级联残差网络（CARN），在局部（块级）与全局（层级）两个层级应用级联连接，以增强特征表示与梯度流动。
• 集成具有多层级快捷连接的残差块，以实现深层监督并缓解梯度消失问题。
• 设计一种高效的残差块（residual-E），采用分组卷积以降低计算成本，同时保持性能。
• 采用递归网络结构，通过跨层复用共享权重以减少模型参数量。
• 将高效残差块与递归级联结构结合，构建CARN-M，一种专为速度与低计算量优化的轻量化变体。
• 在基准数据集（Set14、DIV2K、Set5）上采用多尺度训练策略，评估不同超分辨率尺度下的性能表现。

实验结果

研究问题

• RQ1 级联残差架构是否能在不增加模型复杂度的前提下，提升单图像超分辨率中的特征表示与性能？
• RQ2 同时结合局部与全局级联连接对深层超分辨率网络中的梯度流动与模型优化有何影响？
• RQ3 通过高效残差块与递归网络结构，可在多大程度上减少参数量与计算量，同时保持具有竞争力的PSNR？
• RQ4 递归网络结构是否会导致性能下降？若存在，如何在效率增益与性能损失之间实现平衡？
• RQ5 像CARN-M这样的轻量化模型是否能在实时应用中实现与更大型最先进模型相当的性能？

主要发现

• 在×4超分辨率设置下，CARN在Set14数据集上达到28.70的PSNR，尽管模型复杂度降低，仍优于现有最先进方法。
• CARN-M相比CARN将参数量减少5倍、计算量减少近4倍，仅造成0.29的PSNR下降。
• 全局级联与局部级联连接的结合显著优于仅使用单一类型级联或不使用级联的模型。
• 采用递归网络结构的模型未增加乘加操作数（Mult-Adds），但因参数量减少导致性能略有下降。
• 使用分组大小为4的高效残差块与递归级联结构，实现了性能与效率的最佳平衡，构成CARN-M的核心基础。
• 视觉对比显示，CARN与CARN-M在高频区域生成的纹理更清晰，伪影更少，显著优于基线方法。