[论文解读] Efficient Deep Neural Network for Photo-realistic Image Super-Resolution

Namhyuk Ahn, Byungkon Kang+1 more|arXiv (Cornell University)|Mar 6, 2019

Advanced Image Processing Techniques被引用 4

一句话总结

本文提出PCARN，一种轻量级深度神经网络，用于照片级真实感图像超分辨率，通过结合级联残差连接、分组卷积和递归特征融合，在计算成本低的情况下实现高感知质量。该模型在感知质量（以LPIPS和NIMA衡量）和效率（MultAdds）方面均优于当前最先进方法，尤其在CPU上表现突出，同时保持了具有竞争力的PSNR和SSIM得分。

ABSTRACT

Recent progress in deep learning-based models has improved photo-realistic (or perceptual) single-image super-resolution significantly. However, despite their powerful performance, many methods are difficult to apply to real-world applications because of the heavy computational requirements. To facilitate the use of a deep model under such demands, we focus on keeping the network efficient while maintaining its performance. In detail, we design an architecture that implements a cascading mechanism on a residual network to boost the performance with limited resources via multi-level feature fusion. In addition, our proposed model adopts group convolution and recursive schemes in order to achieve extreme efficiency. We further improve the perceptual quality of the output by employing the adversarial learning paradigm and a multi-scale discriminator approach. The performance of our method is investigated through extensive internal experiments and benchmarks using various datasets. Our results show that our models outperform the recent methods with similar complexity, for both traditional pixel-based and perception-based tasks.

研究动机与目标

• 弥合基于深度学习的图像超分辨率中高感知质量与计算效率之间的差距。
• 设计一种轻量级网络，在移动部署和低延迟流媒体等实际约束条件下保持强大性能。
• 克服现有轻量级模型因深层或宽架构导致推理速度缓慢的局限性。
• 通过对抗训练和多尺度判别器，提升感知质量，超越基于像素的度量标准。
• 通过最小化乘加操作数（MultAdds）确保实际效率，同时保持高质量输出。

提出的方法

• 提出一种级联残差网络（PCARN），在局部和全局层面跨多层融合特征，以增强特征表示能力。
• 整合分组卷积与递归机制，以减少模型参数量和计算复杂度。
• 在GAN框架中采用多尺度判别器，通过捕捉高频细节提升感知质量。
• 采用级联生成器架构，逐步处理特征，实现在参数更少的情况下实现更深层次的特征学习。
• 应用感知损失与对抗损失，使生成图像更符合人类感知，提升真实感。
• 通过最小化MultAdds并同时在CPU和GPU上进行评估，优化推理速度，以反映实际部署约束。

实验结果

研究问题

• RQ1 轻量级深度学习模型是否能在不牺牲计算效率的前提下，实现单图像超分辨率的最先进感知质量？
• RQ2 在保持低参数量和低推理成本的前提下，跨多层的级联特征融合在多大程度上提升了性能？
• RQ3 分组卷积与递归模块的使用在多大程度上降低了计算复杂度而不损害图像质量？
• RQ4 多尺度判别器相较于标准GAN，在提升感知真实感方面有何贡献？
• RQ5 为何CPU上的推理速度提升无法在GPU上体现，这对实时系统中的模型部署有何影响？

主要发现

• PCARN实现了卓越的感知质量，LPIPS值更低，NIMA得分更高，表明其与人类判断更一致。
• 与同类模型相比，PCARN在感知质量方面优于近期方法如ESRGAN、G-MGBP和EPSR，同时使用的MultAdds显著更少。
• 在CPU上，PCARN-M是所有评估方法中推理速度最快的模型，甚至快于ESRGAN和EPSR等更重的模型，展现出极高的效率。
• 尽管MultAdds数值较低，PCARN在GPU上的推理速度仍低于预期，这是由于级联连接导致并行性降低以及分组卷积未充分优化所致。
• 如Set14 ×4上的感知-失真权衡图所示，该模型在感知质量与失真度量之间实现了良好的平衡。
• 在重建密集或精细纹理时出现失败案例，表明其在处理严重退化或复杂结构方面存在局限性。