[论文解读] A Neural Approach to Blind Motion Deblurring

Ayan Chakrabarti|arXiv (Cornell University)|Mar 15, 2016

Advanced Image Processing Techniques参考文献 18被引用 49

一句话总结

本文提出了一种基于深度学习的盲运动去模糊方法，通过神经网络为每个图像块预测去卷积核的傅里叶系数。通过独立地对重叠图像块应用网络，并结合全局估计的模糊核进行优化，该方法在显著加快推理速度（GPU上仅需65秒，而迭代方法需数小时）的同时，实现了最先进的去模糊精度，且在各类模糊核下均保持鲁棒性。

ABSTRACT

We present a new method for blind motion deblurring that uses a neural network trained to compute estimates of sharp image patches from observations that are blurred by an unknown motion kernel. Instead of regressing directly to patch intensities, this network learns to predict the complex Fourier coefficients of a deconvolution filter to be applied to the input patch for restoration. For inference, we apply the network independently to all overlapping patches in the observed image, and average its outputs to form an initial estimate of the sharp image. We then explicitly estimate a single global blur kernel by relating this estimate to the observed image, and finally perform non-blind deconvolution with this kernel. Our method exhibits accuracy and robustness close to state-of-the-art iterative methods, while being much faster when parallelized on GPU hardware.

研究动机与目标

• 开发一种快速、鲁棒的盲运动去模糊方法，避免迭代优化技术的缓慢收敛问题。
• 利用深度学习从数据中隐式学习自然图像和模糊核先验，而非依赖手工设计的先验。
• 通过设计基于图像块的神经网络架构，实现在局部图像区域上独立运行，从而实现高效且可并行化的推理。
• 在大幅降低运行时间的同时，实现与最先进迭代方法相当的性能，借助GPU加速实现。
• 探索在不进行迭代优化的情况下，使用判别式训练的神经网络实现盲去卷积的可行性。

提出的方法

• 核心方法使用卷积神经网络，为每个模糊图像块预测去卷积核的复数傅里叶系数。
• 网络采用输入块的多分辨率频域分解，并利用频域局部连接结构，以减少参数量并提升对大模糊核的泛化能力。
• 在图像重建阶段，网络独立应用于输入图像中所有重叠的图像块，其输出结果通过平均形成初始清晰图像估计。
• 随后通过求解一个最小二乘问题，显式估计出单一全局模糊核，该核关联初始估计与观测到的模糊图像。
• 最后，使用估计的全局核执行非盲去卷积，生成最终的去模糊输出。
• 整个流程端到端可微分，并在大规模模糊-清晰图像对数据集上以判别方式训练。

实验结果

研究问题

• RQ1 判别式训练的神经网络是否能在不进行迭代优化的情况下，实现与最先进迭代方法相当的去模糊性能？
• RQ2 基于图像块的神经网络若预测频域滤波器，是否能对大而任意的运动模糊核具有良好泛化能力？
• RQ3 从数据中学习隐式先验是否能提升在多样化图像内容下的鲁棒性，相比传统方法中手工设计的先验？
• RQ4 能否通过GPU并行计算，使基于图像块的推理策略实现高效且可扩展？
• RQ5 在不同核尺寸下，该方法在精度和速度方面与迭代方法和启发式方法相比表现如何？

主要发现

• 所提方法在去模糊性能上与[2]和[3]的最先进迭代方法相当，且在广泛范围的核尺寸下成功率保持稳定。
• 该方法在NVIDIA Titan X GPU上仅需65秒运行时间，比[2]在多核CPU上91分钟的运行时间快逾100倍，也比[3]的38分钟快得多。
• 与先前神经方法[16]相比，该方法对大模糊核表现出显著更好的鲁棒性，后者在核尺寸增大时准确率急剧下降。
• 该方法的失败案例主要源于训练数据中未出现的模糊纹理，表明网络的隐式先验在常见场景类型上具有良好的泛化能力。
• 该方法在各类图像类别中性能稳定一致，失败模式更倾向于数据分布偏移，而非架构本身的结构性限制。
• 使用频域特征编码和局部连接结构显著减少了可训练参数数量，从而实现了对大图像块和大模糊核的有效训练。