[论文解读] Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution

Wei‐Sheng Lai, Jia‐Bin Huang+2 more|arXiv (Cornell University)|Apr 12, 2017

Advanced Image Processing Techniques参考文献 32被引用 8

一句话总结

本文提出LapSRN，一种深度拉普拉斯金字塔网络，通过使用转置卷积在多尺度上预测子带残差，逐步重建高分辨率图像。该方法通过用可学习的转置卷积替代双三次上采样，并采用鲁棒的Charbonnier损失进行训练，实现了最先进水平的精度与速度，支持单次前向传播中的实时推理与多尺度预测。

ABSTRACT

Convolutional neural networks have recently demonstrated high-quality reconstruction for single-image super-resolution. In this paper, we propose the Laplacian Pyramid Super-Resolution Network (LapSRN) to progressively reconstruct the sub-band residuals of high-resolution images. At each pyramid level, our model takes coarse-resolution feature maps as input, predicts the high-frequency residuals, and uses transposed convolutions for upsampling to the finer level. Our method does not require the bicubic interpolation as the pre-processing step and thus dramatically reduces the computational complexity. We train the proposed LapSRN with deep supervision using a robust Charbonnier loss function and achieve high-quality reconstruction. Furthermore, our network generates multi-scale predictions in one feed-forward pass through the progressive reconstruction, thereby facilitates resource-aware applications. Extensive quantitative and qualitative evaluations on benchmark datasets show that the proposed algorithm performs favorably against the state-of-the-art methods in terms of speed and accuracy.

研究动机与目标

• 解决现有超分辨率方法依赖预定义上采样（如双三次插值）所带来的计算成本增加与伪影问题。
• 克服因ℓ₂损失函数无法建模多模态高分辨率图像块分布而导致的重建图像模糊问题。
• 通过在单次推理过程中生成多个尺度的中间预测，实现灵活的、资源感知的超分辨率。
• 通过端到端深度监督与鲁棒的Charbonnier损失函数，提升网络容量与训练稳定性。

提出的方法

• 网络采用拉普拉斯金字塔框架中的级联子网络结构，每一层在逐步细化的图像尺度上预测高频残差。
• 在每一层中，卷积层从低分辨率特征图中提取特征，随后通过转置卷积实现上采样至下一更精细的分辨率。
• 在每一层中，预测的残差被加到上采样的图像上，通过逐步优化实现高分辨率输出的重建。
• 模型采用端到端训练，通过在每个金字塔层级应用Charbonnier损失，提升对异常值的鲁棒性并减少模糊。
• 该架构支持多尺度推理：通过跳过高层残差预测，网络可使用同一模型实现2×或4×超分辨率。
• 该方法避免了使用双三次插值进行预处理，降低了计算开销，实现了更快的推理速度。

实验结果

研究问题

• RQ1 基于深度卷积神经网络的超分辨率方法是否能在不依赖预定义上采样的前提下，同时实现高精度与实时推理？
• RQ2 与ℓ₂损失相比，采用鲁棒损失函数（Charbonnier）的端到端训练在减少模糊与提升感知质量方面表现如何？
• RQ3 渐进式多尺度重建框架是否能实现在不同计算预算下的灵活、资源感知的超分辨率？
• RQ4 用可学习的转置卷积替代双三次插值是否能提升重建质量并减少伪影？

主要发现

• 所提出的LapSRN在基准数据集上实现了PSNR与SSIM的最先进性能，精度优于SRCNN、VDSR、DRCN与FSRCNN。
• LapSRN的推理速度优于SRCNN与VDSR，在1200×800视频帧的8×超分辨率任务中实现超过30 FPS的实时推理，而SRCNN与VDSR的推理速度分别为8.43与1.98 FPS。
• 在Set14数据集上进行4×超分辨率时，LapSRN的PSNR达到33.78 dB，优于FSRCNN（33.67 dB）与VDSR（33.54 dB）。
• 该模型在真实世界照片（含JPEG压缩伪影）上生成了高质量、清晰的重建结果，能准确恢复文字与栏杆等精细细节，优于VDSR与FSRCNN。
• 渐进式架构支持多尺度预测：通过选择性计算不同金字塔层级的残差，同一模型可实现2×、4×或8×超分辨率。
• 尽管具有诸多优势，当输入的低分辨率图像缺乏足够结构信息时，该模型仍难以恢复精细结构，如在严重模糊或低对比度区域所示。