[論文レビュー] Video Rain/Snow Removal by Transformed Online Multiscale Convolutional Sparse Coding

Minghan Li, Xiangyong Cao+4 more|arXiv (Cornell University)|Sep 13, 2019

Image Enhancement Techniques被引用数 6

ひとこと要約

本稿では、リアルタイムのパrameter適応を用いて監視動画における動的雨・雪と背景変換を共同でモデル化するオンラインでマルチスケール畳み込みスパースコーディング手法（OTMS-CSC）を提案する。視覚的品質および定量的指標において最先端の性能を達成しており、オフライン手法に比べて顕著に高速な推論を実現するため、ストリーミング動画処理に適している。

ABSTRACT

Video rain/snow removal from surveillance videos is an important task in the computer vision community since rain/snow existed in videos can severely degenerate the performance of many surveillance system. Various methods have been investigated extensively, but most only consider consistent rain/snow under stable background scenes. Rain/snow captured from practical surveillance camera, however, is always highly dynamic in time with the background scene transformed occasionally. To this issue, this paper proposes a novel rain/snow removal approach, which fully considers dynamic statistics of both rain/snow and background scenes taken from a video sequence. Specifically, the rain/snow is encoded as an online multi-scale convolutional sparse coding (OMS-CSC) model, which not only finely delivers the sparse scattering and multi-scale shapes of real rain/snow, but also well encodes their temporally dynamic configurations by real-time ameliorated parameters in the model. Furthermore, a transformation operator imposed on the background scenes is further embedded into the proposed model, which finely conveys the dynamic background transformations, such as rotations, scalings and distortions, inevitably existed in a real video sequence. The approach so constructed can naturally better adapt to the dynamic rain/snow as well as background changes, and also suitable to deal with the streaming video attributed its online learning mode. The proposed model is formulated in a concise maximum a posterior (MAP) framework and is readily solved by the ADMM algorithm. Compared with the state-of-the-art online and offline video rain/snow removal methods, the proposed method achieves better performance on synthetic and real videos datasets both visually and quantitatively. Specifically, our method can be implemented in relatively high efficiency, showing its potential to real-time video rain/snow removal.

研究の動機と目的

• 静的な雨・雪と固定された背景を仮定する既存の動画雨・雪除去手法の限界に対処すること。これは現実の動的状況を反映していない。
• 時間的に変化する雨・雪のパターンと、回転、スケーリング、歪みなどの背景変換を、実際の監視動画で処理できること。
• 1フレームあたりの計算量とメモリ使用量が一定であるオンライン学習フレームワークを用いて、ストリーミング動画シーケンスの効率的かつリアルタイム処理を可能にすること。
• 雨・雪とシーン変化の動的統計モデリングを組み込むことで、雨・雪層分離と背景回復の精度を向上させること。

提案手法

• 本手法は、雨・雪の時間的変化を捉えるために、リアルタイムでパrameterを適応的に更新するオンラインマルチスケール畳み込みスパースコーディング（OMS-CSC）フレームワークを用いて雨・雪をモデル化する。
• 背景モデリングに変換演算子を組み込み、カメラのジャイタや背景の変化を考慮し、フレーム間での背景構造をアライメント可能にする。
• アプローチは最大事後確率（MAP）最適化フレームワーク内に定式化され、収束性とスケーラビリティを確保するためADMMアルゴリズムで効率的に解かれる。
• モデルは複数スケールで雨・雪のスパース表現を学習し、動画シーケンスにおける多スケール形状とスパースな空間的分布を捉える。
• オンライン学習メカニズムにより、1フレームあたりの計算コストとメモリ使用量が一定となり、長時間または継続的な動画ストリームに対してもスケーラブルである。
• 雨のスパarsityと背景の構造的一致性を同時に最適化することで、動画を雨、背景、再構成成分に分離する。

実験結果

リサーチクエスチョン

• RQ1 時間的に変化する雨・雪パターンが存在する状況で、動画の雨・雪除去はどのように改善できるか？
• RQ2 監視動画において、回転、スケーリング、歪みなどの背景変換をどの程度モデル化できるか。これにより、分離精度がどの程度向上するか？
• RQ3 ストリーミング動画シーケンスのリアルタイム処理に耐えうる、効率的かつスケーラブルなオンライン学習フレームワークを設計できるか？
• RQ4 静的条件を仮定する手法と比較して、動的雨・雪と背景変化を共同でモデリングする手法は、視覚的および定量的性能においてどのように異なるか？

主な発見

• 提案手法のOTMS-CSCは、動的背景と変動する降雪強度を伴う複雑なシーンにおいても、優れた視覚的品質で雨・雪を除去できる。
• 合成および実世界の動画データセットにおいて、PSNRやSSIMなどの定量的指標で、最先端のオフラインおよびオンライン手法を上回り、特に困難なケースで顕著な改善を示した。
• 推論速度において顕著な優位性を示し、静的動画では1フレームあたり平均0.96秒、動的動画では1.36秒の平均推論時間を達成した。これは、他の遅延の大きいベースライン手法と比較して顕著に高速である。
• オンライン実装により、線形時間計算量と定数メモリ使用量を維持しており、リアルタイムストリーミング動画アプリケーションに適したスケーラビリティを有する。
• 高速な動き、照明変化、低視認性条件（例：雪景色に薄い降雪）が存在する動画においても、OTMS-CSCは頑健な性能を維持し、背景変換を無視する手法を上回った。
• 視覚的比較では、OTMS-CSCは背景エッジが混ざることなく雨・雪層を効果的に分離しているのに対し、他の手法はしばしば残存ストリークや歪みを残していた。