[論文レビュー] VIDOSAT: High-dimensional Sparsifying Transform Learning for Online Video Denoising

Bihan Wen, Saiprasad Ravishankar+1 more|arXiv (Cornell University)|Oct 3, 2017

Image and Signal Denoising Methods参考文献 40被引用数 3

ひとこと要約

本稿では、時間的・空間的動的映像パッチからリアルタイムに高次元スパース化変換を学習するオンライン動画ノイズ除去フレームワーク、VIDOSATを提案する。オンライン変換学習と、運動補償のためのオプションブロックマッチングを活用することで、VIDOSATはVBM3D、VBM4D、および固定3次元DCTを上回る最先端のノイズ除去性能を達成し、複数のデータセットにおいて平均PSNRで最大3.5 dBの向上を実現した。

ABSTRACT

Techniques exploiting the sparsity of images in a transform domain have been effective for various applications in image and video processing. Transform learning methods involve cheap computations and have been demonstrated to perform well in applications such as image denoising and medical image reconstruction. Recently, we proposed methods for online learning of sparsifying transforms from streaming signals, which enjoy good convergence guarantees, and involve lower computational costs than online synthesis dictionary learning. In this work, we apply online transform learning to video denoising. We present a novel framework for online video denoising based on high-dimensional sparsifying transform learning for spatio-temporal patches. The patches are constructed either from corresponding 2D patches in successive frames or using an online block matching technique. The proposed online video denoising requires little memory, and offers efficient processing. Numerical experiments compare the performance to the proposed video denoising scheme but fixing the transform to be 3D DCT, as well as prior schemes such as dictionary learning-based schemes, and the state-of-the-art VBM3D and VBM4D on several video data sets, demonstrating the promising performance of the proposed methods.

研究の動機と目的

• 複雑な運動を伴う動的シーンにおけるリアルタイムで高品質な動画ノイズ除去の課題に取り組む。
• 固定変換（例：3次元DCT）の制限や、動画修復における高コストな合成辞書学習の課題を克服する。
• 進化する動画コンテンツに適応する効率的でオンラインの学習フレームワークを構築する。
• 適応的変換学習による空間的・時間的相関のモデル化を通じて、ノイズ除去性能を向上させる。
• 大規模データおよびストリーミングアプリケーションに適した、メモリ効率的でスケーラブルな動画ノイズ除去を実現する。

提案手法

• 連続する動画フレームから時間的・空間的パッチを構築する、またはオンラインブロックマッチングを用いて運動を捉える。
• ストリーミング動画データを用いて、オンラインの方法で高次元スパース化変換（W）を学習する。
• Wuのしきい値処理を用いて、NP-hardな合成符号化を回避しつつ、スパースコードxを効率的に計算する。
• 収束保証付きの確率的勾配降下法を用いて、反復的に変換Wを更新する。
• ブロックマッチングを学習パイプラインに統合（VIDOSAT-BM）し、時間的・空間的に類似したパッチをグループ化する。
• 学習された変換を用いて、各パッチをノイズ除去し、フレーム単位で動画を再構築する。

実験結果

リサーチクエスチョン

• RQ1 固定変換（例：3次元DCT）と比較して、オンラインスパース化変換学習は動画ノイズ除去性能を向上させ得るか？
• RQ2 オンライン変換学習は、辞書学習に基づく手法と比較して、速度、精度、メモリ使用量の面でどのように異なるか？
• RQ3 変換学習パイプラインにブロックマッチングを組み込むことで、運動を伴う動画のノイズ除去にどの程度の向上が得られるか？
• RQ4 提案手法は、低メモリフットプリントを維持しながらリアルタイム処理を達成できるか？
• RQ5 学習された変換は、時間経過とともに動的動画コンテンツにどのように適応するか？

主な発見

• VIDOSAT-BMは、全テスト動画およびノイズレベルにおいて、VBM3Dに対して平均3.5 dB、VBM4Dに対して2.1 dB、sKSVDに対して1.2 dBのPSNR向上を達成した。
• VIDOSAT-BMは、全動画およびノイズレベルにおいて、VBM3DおよびVBM4Dを含むすべての比較手法を一貫して上回った。
• VIDOSAT-BMの平均PSNRはVIDOSATよりも0.3 dB高く、運動モデル化におけるブロックマッチングの有効性を示した。
• VIDOSATにおける学習された変換は時間経過とともに進化し、運動補償を実現する線形シフト（深さ方向）などの適応的構造を示した。
• Bicycleのような高動的映像において、VIDOSAT-BMはVIDOSATおよびVBM4Dを著しく上回り、フレーム単位のPSNR向上が安定していた。
• 視覚的結果から、VIDOSAT-BMは動きのある領域のアーティファクトを低減するとともに、静的領域のディテールを保持しており、品質面でVBM4DおよびVBM3Dを上回った。