[论文解读] Implementation of the VBM3D Video Denoising Method and Some Variants

Thibaud Ehret, Pablo Arias|arXiv (Cornell University)|Jan 6, 2020

Image and Signal Denoising Methods参考文献 22被引用 4

一句话总结

本文提出了一种VBM3D视频去噪算法的开源C++实现，该算法是针对视频的BM3D扩展，通过将相似的时空块聚合成三维堆栈，利用三维变换和软阈值处理实现联合去噪。主要贡献在于证明了结合三维块、光流引导的块搜索以及多尺度处理可实现最先进性能，尤其在高噪声水平（σ=40）下，PSNR提升最高达3.5 dB，优于基线VBM3D。

ABSTRACT

VBM3D is an extension to video of the well known image denoising algorithm BM3D, which takes advantage of the sparse representation of stacks of similar patches in a transform domain. The extension is rather straightforward: the similar 2D patches are taken from a spatio-temporal neighborhood which includes neighboring frames. In spite of its simplicity, the algorithm offers a good trade-off between denoising performance and computational complexity. In this work we revisit this method, providing an open-source C++ implementation reproducing the results. A detailed description is given and the choice of parameters is thoroughly discussed. Furthermore, we discuss several extensions of the original algorithm: (1) a multi-scale implementation, (2) the use of 3D patches, (3) the use of optical flow to guide the patch search. These extensions allow to obtain results which are competitive with even the most recent state of the art.

研究动机与目标

• 提供可复现的、开源的C++实现，用于VBM3D视频去噪算法。
• 分析并验证VBM3D变体的性能，包括多尺度处理、三维块使用以及光流引导的块搜索。
• 证明这些扩展可在高噪声条件下实现最先进去噪性能，尤其在高噪声环境下表现优异。
• 为研究人员和实践者提供详细的参数分析与实现指导。

提出的方法

• 通过将时空邻域中的相似2D块聚合成3D堆栈，将BM3D算法扩展至视频处理。
• 对每个3D堆栈应用可分离的3D变换（如DCT或小波变换），以集中信号能量至少数系数。
• 采用两阶段去噪：首先使用3D软阈值算子进行硬阈值处理，随后利用首次估计作为已知信息进行维纳滤波。
• 通过光流引导块搜索，提升运动补偿区域内的相似性检测效果。
• 通过在多个分辨率下进行去噪并融合结果，实现多尺度处理，插值使用Lanczos或DCT核。
• 最终视频重建采用块聚合策略，每个像素通过重叠去噪块的加权平均进行估计。

实验结果

研究问题

• RQ1 BM3D到视频的直接扩展（即VBM3D）是否能在计算开销较低的前提下实现有竞争力的去噪性能？
• RQ2 与2D块相比，使用3D时空块对去噪质量及运动鲁棒性有何影响？
• RQ3 光流引导在多大程度上提升了块相似性检测效果，并改善了整体去噪性能？
• RQ4 多尺度处理是否提升了去噪质量，还是引入了伪影并导致性能下降？
• RQ5 在PSNR和视觉质量方面，所提出的变体与最新最先进视频去噪方法相比表现如何？

主要发现

• 采用光流引导块搜索与多尺度处理的VBM3D实现，在σ=10的Derf测试集上达到38.95 dB的PSNR，优于原始VBM3D（38.10 dB），并匹配或超过VNLB和VNLnet等SOTA方法。
• 在σ=40时，最佳变体（VBM3D ST+OF+MS，使用Lanczos插值）达到32.44 dB的PSNR，显著优于原始VBM3D（30.96 dB），并接近VNLB的性能（32.95 dB）。
• 使用3D块与光流引导带来了显著的PSNR增益，尤其在高运动或复杂场景中，相比标准VBM3D最高提升达1.5 dB。
• 多尺度处理并非始终提升性能；在某些情况下反而导致结果下降，表明分辨率与噪声抑制之间存在权衡。
• 视觉对比显示，所提变体在纹理丰富和运动频繁区域中，比基线VBM3D更有效地减少了振铃与模糊伪影。
• 开源C++实现可复现原始VBM3D论文中报告的结果，确保了可复现性，并为后续研究提供了有力支持。