[論文レビュー] Implementation of the VBM3D Video Denoising Method and Some Variants

Thibaud Ehret, Pablo Arias|arXiv (Cornell University)|Jan 6, 2020

Image and Signal Denoising Methods参考文献 22被引用数 4

ひとこと要約

本稿では、動画用に拡張されたBM3DのアルゴリズムであるVBM3D動画ノイズ除去法のオープンソースC++実装を提示する。この手法は、類似した空間的・時間的パッチを3次元スタックにグループ化し、3次元変換とスライシングを用いた連合ノイズ除去を実行する。主な貢献は、3次元パッチの使用、光流に基づくパッチ探索、マルチスケール処理を組み合わせることで、特に高ノイズレベル（σ=40）において最先端の性能を達成できることを示したことである。ベースラインVBM3Dと比較して、PSNRの向上が最大3.5 dBに達する。

ABSTRACT

VBM3D is an extension to video of the well known image denoising algorithm BM3D, which takes advantage of the sparse representation of stacks of similar patches in a transform domain. The extension is rather straightforward: the similar 2D patches are taken from a spatio-temporal neighborhood which includes neighboring frames. In spite of its simplicity, the algorithm offers a good trade-off between denoising performance and computational complexity. In this work we revisit this method, providing an open-source C++ implementation reproducing the results. A detailed description is given and the choice of parameters is thoroughly discussed. Furthermore, we discuss several extensions of the original algorithm: (1) a multi-scale implementation, (2) the use of 3D patches, (3) the use of optical flow to guide the patch search. These extensions allow to obtain results which are competitive with even the most recent state of the art.

研究の動機と目的

• VBM3D動画ノイズ除去法の再現可能でオープンソースのC++実装を提供すること。
• マルチスケール処理、3次元パッチの使用、光流に基づくパッチ探索を含むVBM3Dの変種の性能を分析・検証すること。
• これらの拡張が、特に高ノイズ条件下で最先端のノイズ除去性能を達成できることを示すこと。
• 研究者および実務家向けに、詳細なパrameter分析と実装ガイドを提供すること。

提案手法

• アルゴリズムは、空間的・時間的近傍領域からの類似した2次元パッチを3次元スタックにグループ化することで、BM3Dを動画に拡張する。
• 各3次元スタックに分離可能な3次元変換（例：DCTまたはウェーブレット）を適用し、信号エネルギーを少数の係数に集中させる。
• 2段階のノイズ除去を実行する：まず3次元スライシング作用素を用いたハードスレッショルド処理を行い、次に最初の推定値をオракルとして用いたウィーナーフィルタリングを実施する。
• パッチ探索は光流によってガイドされ、動き補償領域における類似性検出を向上させる。
• マルチスケール処理は、複数の解像度でノイズ除去を行い、結果を統合することで実装され、補間にはLanczosまたはDCTカーネルが用いられる。
• 最終的な動画再構成はパッチ集約を用い、各画素は重複するノイズ除去済みパッチの重み付き平均として推定される。

実験結果

リサーチクエスチョン

• RQ1 BM3Dを動画に単純に拡張した手法（VBM3D）は、計算コストを低く抑えつつも、競争力のあるノイズ除去性能を達成できるか？
• RQ2 2次元パッチではなく3次元空間的・時間的パッチを使用することで、ノイズ除去品質と動きに対するロバスト性はどのように変化するか？
• RQ3 光流ガイドによるパッチ類似性検出は、全体のノイズ除去性能をどの程度向上させるか？
• RQ4 マルチスケール処理はノイズ除去品質を向上させるのか、それともアーチファクトを引き起こし、性能を低下させるのか？
• RQ5 最新の最先端動画ノイズ除去手法と比較して、提案手法の変種はPSNRおよび視覚的品質の点でどの程度優れているか？

主な発見

• 光流ガイド付きパッチ探索とマルチスケール処理を組み合わせた提案されたVBM3D実装は、σ=10のDerfテストセットにおいて38.95 dBのPSNRを達成し、元のVBM3D（38.10 dB）を上回り、VNLBやVNLnetといった最先端手法と同等またはそれを上回る。
• σ=40では、最良の変種（VBM3D ST+OF+MS、Lanczos補間）が32.44 dBのPSNRを達成し、元のVBM3D（30.96 dB）を顕著に上回り、VNLB（32.95 dB）の性能に近づいた。
• 3次元パッチと光流ガイドの使用により、特に高運動または複雑なシーンにおいて顕著なPSNR向上が得られ、標準VBM3Dと比較して最大1.5 dBの向上が確認された。
• マルチスケール処理は一貫した性能向上をもたらさず、場合によっては結果を劣化させることがあるため、解像度とノイズ抑制のトレードオフが生じる可能性がある。
• 視覚的比較により、提案された変種は、特にテクスチャが豊かで動きの多い領域において、ベースラインVBM3Dよりもリバーブやぼやけのアーチファクトをより効果的に低減していることが確認された。
• オープンソースのC++実装は、元のVBM3D論文で報告された結果を再現できることを示しており、再現可能性を確保するとともに、今後の研究を促進する。