[论文解读] Cascaded Deep Video Deblurring Using Temporal Sharpness Prior

Jinshan Pan, Haoran Bai+1 more|arXiv (Cornell University)|Apr 6, 2020

Advanced Image Processing Techniques参考文献 33被引用 6

一句话总结

本文提出一种级联深度卷积神经网络（CNN）用于视频去模糊，利用时间清晰度先验以增强帧间特征的一致性。通过联合估计中间潜在帧的光流并使用编码器-解码器网络恢复这些帧，该方法在模型紧凑的前提下实现了最先进性能，优于更大规模的网络结构，同时保持了较低的参数量和高效率。

ABSTRACT

We present a simple and effective deep convolutional neural network (CNN) model for video deblurring. The proposed algorithm mainly consists of optical flow estimation from intermediate latent frames and latent frame restoration steps. It first develops a deep CNN model to estimate optical flow from intermediate latent frames and then restores the latent frames based on the estimated optical flow. To better explore the temporal information from videos, we develop a temporal sharpness prior to constrain the deep CNN model to help the latent frame restoration. We develop an effective cascaded training approach and jointly train the proposed CNN model in an end-to-end manner. We show that exploring the domain knowledge of video deblurring is able to make the deep CNN model more compact and efficient. Extensive experimental results show that the proposed algorithm performs favorably against state-of-the-art methods on the benchmark datasets as well as real-world videos.

研究动机与目标

• 开发一种紧凑的深度卷积神经网络模型用于视频去模糊，利用变分方法中的领域特定知识。
• 通过引入利用相邻帧间清晰内容的时间清晰度先验，提升去模糊性能。
• 通过级联优化策略实现端到端训练，交替进行光流估计与潜在帧恢复。
• 在保持去模糊精度优于大容量CNN和变分方法的同时，降低模型复杂度。

提出的方法

• 该方法使用基于PWC-Net的模块从中间潜在帧估计光流，以对齐连续帧。
• 采用带有ReLU激活函数和跳跃连接的编码器-解码器CNN架构恢复潜在帧。
• 引入时间清晰度先验，以在时间维度上强制保持清晰特征的一致性，指导恢复过程。
• 以级联方式端到端训练模型，每个阶段利用三个相邻帧优化中心帧。
• 各阶段共享参数，并在共享架构中处理每组三个相邻帧。
• 训练过程联合优化光流估计与帧恢复模块，使用统一损失函数。

实验结果

研究问题

• RQ1 来自变分模型方法的领域知识是否能提升深度CNN在视频去模糊中的紧凑性与性能？
• RQ2 显式建模帧间时间清晰度是否能提升去模糊质量与模型效率？
• RQ3 在光流估计与帧恢复之间引入反馈的级联训练是否能优于标准的端到端训练？
• RQ4 与最先进基于CNN和变分方法相比，该方法在准确率与模型大小方面表现如何？

主要发现

• 在模糊均匀分布的挑战性测试集上，该方法达到31.33的PSNR和0.9239的SSIM，与基线相比性能下降极小。
• 模型参数量为16.19M，小于EDVR（23.60M），与更小的基线模型相当，但在去模糊质量上表现更优。
• 移除光流模块后性能下降，证实光流估计显著提升了去模糊效果。
• 该方法对不同光流网络具有鲁棒性，使用FlowNet 2.0时性能保持一致。
• 时间清晰度先验在局部模糊视频中提升性能，但在全图像素模糊均匀时增益有限。
• 级联训练方法实现了有效的端到端优化，使模型在紧凑的同时仍具备高度有效性。