[论文解读] First image then video: A two-stage network for spatiotemporal video denoising

Ce Wang, Shubo Zhou+1 more|arXiv (Cornell University)|Jan 2, 2020

Image and Signal Denoising Methods参考文献 37被引用 10

一句话总结

本文提出FITVNet，一种用于时空视频去噪的两阶段深度学习框架，首先对图像进行去噪以减少帧内噪声，再执行时空去噪。通过将空间与时间去噪解耦，该方法在Vimeo90K数据集上实现了最先进的PSNR和SSIM指标，且推理速度比TOFlow快5倍以上，同时支持一种性能媲美监督基线的竞争力强的无监督变体。

ABSTRACT

Video denoising is to remove noise from noise-corrupted data, thus recovering true signals via spatiotemporal processing. Existing approaches for spatiotemporal video denoising tend to suffer from motion blur artifacts, that is, the boundary of a moving object tends to appear blurry especially when the object undergoes a fast motion, causing optical flow calculation to break down. In this paper, we address this challenge by designing a first-image-then-video two-stage denoising neural network, consisting of an image denoising module for spatially reducing intra-frame noise followed by a regular spatiotemporal video denoising module. The intuition is simple yet powerful and effective: the first stage of image denoising effectively reduces the noise level and, therefore, allows the second stage of spatiotemporal denoising for better modeling and learning everywhere, including along the moving object boundaries. This two-stage network, when trained in an end-to-end fashion, yields the state-of-the-art performances on the video denoising benchmark Vimeo90K dataset in terms of both denoising quality and computation. It also enables an unsupervised approach that achieves comparable performance to existing supervised approaches.

研究动机与目标

• 为解决视频去噪中的运动模糊伪影，尤其是在快速运动物体边界处的问题。
• 克服端到端时空去噪器在同时处理高速运动与空间噪声时的局限性。
• 设计一种两阶段框架，将空间去噪与时间去噪分离，以提升鲁棒性与性能。
• 通过第一阶段图像去噪器为第二阶段提供自监督信号，实现无监督视频去噪方法。
• 在显著降低推理时间的前提下，实现超越现有流基方法的最先进去噪质量。

提出的方法

• 该方法采用两阶段神经网络：首先，一个图像到图像的去噪模块独立处理每一帧，以减少帧内噪声。
• 第二阶段应用标准的时空去噪网络（基于FastDVDNet）对去噪后的帧进行处理，以利用帧间相关性。
• 整个网络通过结合空间与时空监督信号的平衡损失函数进行端到端训练。
• 无监督变体将第二阶段的干净帧监督替换为第一阶段去噪器的输出，从而实现自监督学习。
• 第一阶段网络采用感知损失和基于图像块的去噪损失进行训练，以保留精细细节与纹理。
• 该框架在Vimeo90K基准上进行评估，涵盖多种噪声水平，包括高斯噪声与真实世界噪声。

实验结果

研究问题

• RQ1 将空间与时间去噪阶段分离，是否能提升快速运动视频序列中物体边界的恢复质量？
• RQ2 先验图像去噪阶段如何影响后续时空视频去噪的性能与稳定性？
• RQ3 两阶段网络是否能在显著快于流基方法的同时，实现最先进水平的视频去噪性能？
• RQ4 当第一阶段提供强先验时，完全无监督的训练策略在视频去噪中的有效性能达到何种程度？
• RQ5 两阶段设计是否增强了对高噪声水平与复杂运动条件的鲁棒性？

主要发现

• FITVNet在Vimeo90K数据集上所有测试噪声水平下均实现了最先进的PSNR与SSIM指标，优于FastDVDNet与TOFlow。
• 该模型在保持更优去噪质量的同时，推理速度比TOFlow快5倍以上，展现出显著的计算效率。
• FITVNet的无监督变体在缺乏干净帧监督的情况下，性能与FastDVDNet（一种监督SOTA方法）相当。
• 视觉结果表明，FITVNet在高速运动场景中能更好地保持物体边界的锐利度，而TOFlow与FastDVDNet则产生模糊输出。
• 第一阶段去噪器有效降低了空间噪声，使第二阶段网络能更专注于运动建模，该结论得到特征可视化与消融实验的验证。
• 采用联合空间与感知损失的变体（FITVNet + jsc）在所有噪声水平下均表现稳定，而基础模型在低噪声（Gauss15）下表现不佳，表明端到端训练对噪声分布具有敏感性。