[论文解读] Down-Scaling with Learned Kernels in Multi-Scale Deep Neural Networks for Non-Uniform Single Image Deblurring

Dongwon Park, Jisoo Kim+1 more|arXiv (Cornell University)|Mar 25, 2019

Advanced Image Processing Techniques参考文献 41被引用 8

一句话总结

本文提出一种基于CNN的可学习核下采样方法，用于非均匀单图像去模糊中的多尺度深度神经网络。通过用可学习的多通道卷积核替代传统的双三次下采样，该方法能更好地保留边缘等关键高频细节，从而实现最先进性能——在GoPro数据集上比Tao等人高出2.59dB的PSNR，在Su数据集上高出1.15dB。

ABSTRACT

Multi-scale approach has been used for blind image / video deblurring problems to yield excellent performance for both conventional and recent deep-learning-based state-of-the-art methods. Bicubic down-sampling is a typical choice for multi-scale approach to reduce spatial dimension after filtering with a fixed kernel. However, this fixed kernel may be sub-optimal since it may destroy important information for reliable deblurring such as strong edges. We propose convolutional neural network (CNN)-based down-scale methods for multi-scale deep-learning-based non-uniform single image deblurring. We argue that our CNN-based down-scaling effectively reduces the spatial dimension of the original image, while learned kernels with multiple channels may well-preserve necessary details for deblurring tasks. For each scale, we adopt to use RCAN (Residual Channel Attention Networks) as a backbone network to further improve performance. Our proposed method yielded state-of-the-art performance on GoPro dataset by large margin. Our proposed method was able to achieve 2.59dB higher PSNR than the current state-of-the-art method by Tao. Our proposed CNN-based down-scaling was the key factor for this excellent performance since the performance of our network without it was decreased by 1.98dB. The same networks trained with GoPro set were also evaluated on large-scale Su dataset and our proposed method yielded 1.15dB better PSNR than the Tao's method. Qualitative comparisons on Lai dataset also confirmed the superior performance of our proposed method over other state-of-the-art methods.

研究动机与目标

• 解决多尺度去模糊中固定核下采样（如双三次）性能欠佳的问题，后者可能破坏强边缘等关键细节。
• 通过学习空间自适应的下采样核，在分辨率降低过程中保留局部图像结构，从而提升去模糊性能。
• 通过消除对原始尺度输入的独立去模糊网络的需求，实现高效推理，降低计算开销。
• 在大规模基准数据集（GoPro、Su）上实现最先进结果，同时在包括Lai在内的多样化数据集上保持优异的视觉质量。
• 研究训练数据分布对泛化能力的影响，特别是GoPro和Köhler等数据集之间性能不一致的问题。

提出的方法

• 提出一种新型基于CNN的下采样模块，采用可训练的多通道卷积核，以替代多尺度网络中固定的核下采样（如双三次）。
• 将可学习下采样模块集成到多尺度架构中，其中每个尺度通过残差网络处理下采样后的特征图。
• 采用RCAN（残差通道注意力网络）作为每个尺度的主干网络，以增强特征表示并利用通道注意力机制。
• 采用次优模块化训练策略而非端到端训练，以应对有限硬件资源下的计算压力。
• 设计网络仅在每个尺度处理下采样后的特征，省去对原始尺度输入的专用网络，以降低复杂度。
• 采用跳跃连接（RIR跳跃连接）以保持残差块间特征完整性，并改善梯度流动。

实验结果

研究问题

• RQ1 可学习下采样核是否能在保留非均匀去模糊中至关重要的高频细节方面优于固定核方法（如双三次）？
• RQ2 将双三次下采样替换为基于CNN的可学习下采样模块，是否能在标准基准上带来PSNR和SSIM的可测量提升？
• RQ3 缺少专用原始尺度网络对性能的影响有多大？这种影响能否通过改进下采样和主干网络设计来补偿？
• RQ4 所提方法在具有不同模糊特性与图像统计特性的多样化数据集上的泛化性能如何？
• RQ5 通过消融研究，各组件（如主干网络、跳跃连接、可学习下采样）对整体性能的贡献分别是什么？

主要发现

• 在GoPro数据集上，所提方法相比Tao等人提出的最先进方法实现了2.59dB的PSNR增益，表明性能有显著飞跃。
• 在Su数据集上，该方法比Tao的方法高出1.15dB的PSNR，证实其在GoPro分布之外也具有强大泛化能力。
• 消融研究显示，若移除可学习下采样模块，PSNR将下降1.98dB，证明其在性能中的关键作用。
• 在Lai数据集上的定性结果表明，与先前方法相比，本方法能更优地恢复细粒度细节，如牌照、文字和运动物体。
• 分解研究证实，RCAN主干网络和RIR跳跃连接均对性能有显著贡献，其移除会导致性能下降。
• 在Su数据集上微调GoPro预训练模型后，其在Köhler数据集上的性能提升至27.26dB，凸显了训练数据对齐的重要性。