[论文解读] End-to-End Learning for Image Burst Deblurring

Patrick Wieschollek, Bernhard Schölkopf+2 more|arXiv (Cornell University)|Jul 15, 2016

Advanced Image Processing Techniques参考文献 33被引用 7

一句话总结

本文提出了一种用于图像序列去模糊的端到端深度学习框架，结合傅里叶序列累积（FBA）与神经网络以预测反卷积滤波器。通过在混合架构中联合学习频域加权与空间反卷积，该模型在清晰度和速度方面均达到最先进水平，优于串行处理流程，并能处理空间不变与空间可变模糊。

ABSTRACT

We present a neural network model approach for multi-frame blind deconvolution. The discriminative approach adopts and combines two recent techniques for image deblurring into a single neural network architecture. Our proposed hybrid-architecture combines the explicit prediction of a deconvolution filter and non-trivial averaging of Fourier coefficients in the frequency domain. In order to make full use of the information contained in all images in one burst, the proposed network embeds smaller networks, which explicitly allow the model to transfer information between images in early layers. Our system is trained end-to-end using standard backpropagation on a set of artificially generated training examples, enabling competitive performance in multi-frame blind deconvolution, both with respect to quality and runtime.

研究动机与目标

• 通过深度学习联合估计清晰图像与模糊核，解决多帧盲去模糊问题的病态性。
• 克服将FBA与反卷积分别处理的串行流程的局限性，后者易产生振铃伪影且性能次优。
• 通过端到端训练联合优化频域加权与空间反卷积，以提升重建质量。
• 通过集成基于图像块的反卷积网络作为前端，扩展对无近似清晰帧的序列的适用性。
• 在多种模糊条件下（包括空间可变模糊）保持高图像质量的同时，实现具有竞争力的运行速度。

提出的方法

• 提出一种混合神经网络架构，将傅里叶序列累积（FBA）方法作为可微分的可学习层嵌入，替代启发式平均。
• 引入一个受Chakrabarti等人[11]启发的前端子网络，用于为每个图像块预测反卷积滤波器的复数傅里叶系数。
• 在早期层中嵌入一个小的神经网络，以在频域处理前实现帧间信息共享，增强序列中的特征传递。
• 使用通过在清晰图像上应用已知模糊核生成的合成数据，通过反向传播端到端训练整个模型。
• 采用基于L1或L2重建误差的损失函数，以优化网络参数，实现清晰度提升与伪影抑制。
• 将FBA层作为频域中的可微分、可学习的平均操作，使梯度能够通过整个网络流动。

实验结果

研究问题

• RQ1 统一的深度神经网络能否联合优化频域图像融合与空间反卷积，以超越串行处理流程？
• RQ2 结合FBA与反卷积网络的混合架构进行端到端训练，是否能减少振铃伪影并提升清晰度，相比级联方法？
• RQ3 通过嵌入的子网络实现的内部特征传递，能否有效处理无近似清晰帧的序列？
• RQ4 该模型在空间可变模糊条件下（模糊核在图像中各处不同）的表现如何？
• RQ5 与最先进生成式和判别式方法相比，该方法在重建质量与推理速度方面是否均能实现具有竞争力的性能？

主要发现

• 与将Chakrabarti [11] 与Delbracio & Sapiro [3] 顺序堆叠的基线方法相比，端到端训练的模型显著减少了振铃伪影。
• 由于嵌入的信息共享机制，该模型在仅有少量或无近似清晰帧的序列中，实现了更优的清晰度与视觉质量。
• 网络通过学习最优的频域权重，优于标准FBA，从而在所有测试序列中均实现了更一致的清晰重建。
• 该模型成功处理了空间可变模糊，在由真实相机轨迹生成的非平稳模糊核退化序列上，其结果比FBA更清晰。
• 训练过程显示清晰度持续提升，证实了通过端到端反向传播实现了有效优化。
• 该方法实现了具有竞争力的运行速度，适用于消费级摄影中的实时或近实时应用。