[论文解读] Blur More To Deblur Better: Multi-Blur2Deblur For Efficient Video Deblurring

Dongwon Park, Dong Un Kang+1 more|arXiv (Cornell University)|Dec 23, 2020

Advanced Image Processing Techniques参考文献 31被引用 6

一句话总结

本文提出了一种新型视频去模糊框架 Multi-Blur-to-Deblur (MB2D)，通过使用多模糊循环神经网络（MBRNN）从相邻视频帧中合成额外的长曝光模糊帧，从而提升性能。通过利用这些合成的模糊输入以及带有连接循环特征图（MSDR）的多尺度去模糊网络，该方法在 GoPro 和 Su 数据集上实现了最先进（SOTA）的性能，同时显著减少了参数量和推理时间，在 PSNR 上相比之前最先进方法最高提升 1.6 dB，且推理速度提升 6 倍。

ABSTRACT

One of the key components for video deblurring is how to exploit neighboring frames. Recent state-of-the-art methods either used aligned adjacent frames to the center frame or propagated the information on past frames to the current frame recurrently. Here we propose multi-blur-to-deblur (MB2D), a novel concept to exploit neighboring frames for efficient video deblurring. Firstly, inspired by unsharp masking, we argue that using more blurred images with long exposures as additional inputs significantly improves performance. Secondly, we propose multi-blurring recurrent neural network (MBRNN) that can synthesize more blurred images from neighboring frames, yielding substantially improved performance with existing video deblurring methods. Lastly, we propose multi-scale deblurring with connecting recurrent feature map from MBRNN (MSDR) to achieve state-of-the-art performance on the popular GoPro and Su datasets in fast and memory efficient ways.

研究动机与目标

• 为解决手持设备引起的运动模糊背景下高效且高性能的视频去模糊挑战。
• 克服现有方法依赖时间对齐或循环特征传播所带来的高计算成本或性能权衡的局限性。
• 探究使用具有不同曝光水平的多个模糊输入是否能提升去模糊性能，灵感来源于未锐化掩模（unsharp masking）。
• 开发一种轻量化、高效的框架，在不进行架构全面重构的前提下增强现有视频去模糊模型。

提出的方法

• 提出 Multi-Blur-to-Deblur (MB2D) 两阶段框架：首先生成额外的模糊帧（进一步模糊化），然后利用这些输入进行去模糊。
• 引入多模糊循环神经网络（MBRNN），通过建模运动模糊的渐进增量，从相邻帧中逐步合成长曝光模糊图像。
• 采用一种新颖的连接循环特征图（CRFM）机制，将 MBRNN 中的循环特征在多个尺度上融合到去模糊网络中。
• 使用结合 CRFM 的多尺度去模糊（MSDR），以增强多尺度空间层级的特征表示并提升重建质量。
• 将 MBRNN 作为即插即用模块集成到现有视频去模糊网络中，替代光学流或对齐模块，以降低复杂度。
• 采用端到端训练，结合感知损失与对抗性损失，以保留清晰细节和自然纹理。

实验结果

研究问题

• RQ1 使用具有递增曝光水平的多个模糊输入是否能提升视频去模糊性能？
• RQ2 循环网络是否能有效在无需对齐的情况下，从相邻视频帧中合成长曝光模糊帧？
• RQ3 将多模糊网络中的循环特征连接到去模糊网络是否能提升性能与效率？
• RQ4 所提出的 MB2D 框架是否能在参数更少、推理更快的前提下实现最先进性能？

主要发现

• 所提出的 MB2D 方法在 GoPro 测试集上达到 32.16 dB 的 PSNR 和 0.953 的 SSIM，相比之前最先进方法（Pan [15]）在 PSNR 上提升 0.49 dB。
• 在 Su 数据集上，MB2D 实现 32.34 dB 的 PSNR 和 0.947 的 SSIM，相比 Pan [15] 在 PSNR 上提升 0.21 dB，且计算时间显著减少。
• 与 Pan [15] 相比，该方法将网络参数减少 67.5%（5.42M vs. 16.19M），推理时间降低 6.4 倍，同时性能得到提升。
• 当应用于其他最先进方法（Tao*、Zhang*、Su*、Pan*）时，MBRNN 在所有情况下均使 PSNR 提升 0.52–1.6 dB。
• 定性结果表明，MB2D 在快速移动物体和人物的去模糊方面表现更优，产生的伪影更少，优于 STFAN、Kim 和 Pan。
• 消融实验验证了合成多模糊输入与 CRFM 对性能提升至关重要，证实了 MB2D 设计的有效性。