[论文解读] Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks

Wei‐Sheng Lai, Jia‐Bin Huang+2 more|arXiv (Cornell University)|Oct 4, 2017

Advanced Image Processing Techniques参考文献 48被引用 53

一句话总结

本文提出 LapSRN，一种用于渐进、快速、准确的单图像超分辨率的深度拉普拉斯金字塔网络，通过在多个金字塔层级学习残差，且参数共享、鲁棒损失。

ABSTRACT

Convolutional neural networks have recently demonstrated high-quality reconstruction for single image super-resolution. However, existing methods often require a large number of network parameters and entail heavy computational loads at runtime for generating high-accuracy super-resolution results. In this paper, we propose the deep Laplacian Pyramid Super-Resolution Network for fast and accurate image super-resolution. The proposed network progressively reconstructs the sub-band residuals of high-resolution images at multiple pyramid levels. In contrast to existing methods that involve the bicubic interpolation for pre-processing (which results in large feature maps), the proposed method directly extracts features from the low-resolution input space and thereby entails low computational loads. We train the proposed network with deep supervision using the robust Charbonnier loss functions and achieve high-quality image reconstruction. Furthermore, we utilize the recursive layers to share parameters across as well as within pyramid levels, and thus drastically reduce the number of parameters. Extensive quantitative and qualitative evaluations on benchmark datasets show that the proposed algorithm performs favorably against the state-of-the-art methods in terms of run-time and image quality.

研究动机与目标

• 在不通过双三次插值预上采样的前提下，推动快速且准确的单图像SR。
• 提出一个渐进的 Laplacian 金字塔框架，从 LR 输入重建 HR 图像。
• 设计参数共享与递归块，在增大容量的同时降低模型规模。
• 采用鲁棒损失（Charbonnier）与深度监督以提升重建质量。

提出的方法

• 使用特征提取分支和图像重建分支，在多个金字塔层级逐步重建子带残差。
• 直接从 LR 空间提取特征，并通过转置卷积对特征图进行上采样以预测逐层残差。
• 通过递归块在金字塔层之间及层内共享网络参数，从而大幅降低参数量。
• 在每个金字塔层使用带 Charbonnier 损失的多尺度深度监督，指导从粗到细的重建。
• 使用多尺度数据（2x、4x、8x）进行训练，以利用尺度间相关性并提升泛化。

实验结果

研究问题

• RQ1 基于 Laplacian 金字塔的 CNN 是否能比单步上采样方法更高效地从 LR 输入重建 HR 图像？
• RQ2 相比 L2 损失，使用 Charbonnier 损失的渐进式、多级监督是否提升 SR 质量并减少伪影？
• RQ3 参数共享与递归块对 SR 性能和模型规模的影响？
• RQ4 单一多尺度模型是否能有效处理多种上采样因子（2x、4x、8x）？

主要发现

• LapSRN 相较于 VDSR、DRCN、DRRN 等多种基于 CNN 的 SR 模型具有更快的运行时间，同时提供更高的重建质量。
• 跨金字塔层的参数共享在性能相当或更优的情况下，将网络参数量降低约 73%。
• 递归、深层堆叠的带共享权重的块使得可以构建更深的网络而参数量并未成比例增加。
• 在每个金字塔层的多尺度监督引导渐进重建，减少空间混叠伪影。
• 使用 Charbonnier 损失在训练中比 L2 损失带来更锐利、更多真实的 SR 结果，且收敛更快。