[論文レビュー] Semi-Supervised Video Deraining with Dynamical Rain Generator

Zongsheng Yue, Jianwen Xie+2 more|arXiv (Cornell University)|Mar 14, 2021

Image Enhancement Techniques参考文献 65被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークによってパrameter化された発生モデルと遷移モデルを用いて、空間的・時系列的プロセスとして雨層をモデル化する動的レインジェネレータを用いた半教師付き動画レイン除去手法を提案する。ラベル付きの合成データとラベルなしの実際の雨の映像を併用することで、実世界の条件への一般化性能が向上し、合成データおよび実データのベンチマークで最先端の性能を達成する。特に、複雑で多様な雨のパターンの処理において優れた効果を示す。

ABSTRACT

While deep learning (DL)-based video deraining methods have achieved significant success recently, they still exist two major drawbacks. Firstly, most of them do not sufficiently model the characteristics of rain layers of rainy videos. In fact, the rain layers exhibit strong physical properties (e.g., direction, scale and thickness) in spatial dimension and natural continuities in temporal dimension, and thus can be generally modelled by the spatial-temporal process in statistics. Secondly, current DL-based methods seriously depend on the labeled synthetic training data, whose rain types are always deviated from those in unlabeled real data. Such gap between synthetic and real data sets leads to poor performance when applying them in real scenarios. Against these issues, this paper proposes a new semi-supervised video deraining method, in which a dynamic rain generator is employed to fit the rain layer, expecting to better depict its insightful characteristics. Specifically, such dynamic generator consists of one emission model and one transition model to simultaneously encode the spatially physical structure and temporally continuous changes of rain streaks, respectively, which both are parameterized as deep neural networks (DNNs). Further more, different prior formats are designed for the labeled synthetic and unlabeled real data, so as to fully exploit the common knowledge underlying them. Last but not least, we also design a Monte Carlo EM algorithm to solve this model. Extensive experiments are conducted to verify the superiorities of the proposed semi-supervised deraining model.

研究の動機と目的

• 合成データと実際の雨の映像データの間のギャップを解消することで、深層学習ベースのレイン除去手法の一般化性能を向上させること。
• 方向、スケール、厚さ、速度、加速度などの雨層の内在的な空間的・時系列的特性を、統計的空間的・時系列的プロセスを用いてモデル化すること。
• ラベル付きの合成データとラベルなしの実際の雨の映像を共有知識を活用する半教師付き学習フレームワークを開発すること。
• 合成データのみでは性能が不十分となる実世界のレイン除去シナリオにおけるロバスト性と一般化性能を向上させること。

提案手法

• 発生モデル（空間的外観）と遷移モデル（雨筋の時系列的ダイナミクス）の両方を深層ニューラルネットワークによってパrameter化した動的レインジェネレータを導入する。
• 尤度項とMRFに基づく正則化項を最適化するため、モンテカルロベースの期待値最大化（EM）アルゴリズムを用いてパラメータを学習する。
• ラベル付きの合成データとラベルなしの実際の雨の映像を併用することで、一般化性能を向上させる半教師付き学習パラダイムを採用する。
• 合成データと実データの背後にある共通知識を活用しつつ、分布のギャップを考慮して、異なる事前分布形式を設計する。
• 目的関数における尤度項は、観測された雨の映像が与えられたもとでの雨層の確率をモデル化する。一方、MRF事前分布はフレーム間の空間的一致性を強制する。
• ハイパーパrameter ρ は、真値ラベルからの監督とMRF事前分布の間のトレードオフを制御する。最適なバランスを得るため、ρ = 0.5 を選択した。

実験結果

リサーチクエスチョン

• RQ1 静的または完全に合成的なモデル化と比較して、雨層を空間的・時系列的プロセスとしてモデル化することで、動画レイン除去の性能が向上するか？
• RQ2 半教師付きフレームワークにおいて、ラベルなしの実際の雨の映像を効果的に活用することで、合成データを超える一般化性能が向上するか？
• RQ3 発生モデルと遷移モデルを備えた動的レインジェネレータを組み込むことで、多様で複雑な実世界の雨のパターンへの対処にどのような影響を与えるか？
• RQ4 MRF事前分布は、合成データに対する過学習を防ぎつつ、実データでの性能向上にどのように寄与するか？

主な発見

• 提案手法S2VDは、合成データと実世界のベンチマークの両方で最先端の性能を達成し、合成データではMSEのみのベースラインに比べて1.01 dBのPSNR向上を達成した。
• 尤度項とMRF正則化項の追加により、SSIMが0.0071向上し、視覚的比較から実データへの一般化性能が向上していることが示された。
• S2VDは、訓練時に使用しなかった実際の雨の映像に対しても良好に一般化しており、NTURainの実データテストセットにおいて優れた視覚的結果を示した。
• 本手法は多様な雨のパターンに対してロバストであり、特に複雑な実世界のシナリオにおいて、既存手法を上回る性能を示した。
• アブレーションスタディにより、尤度項、MRF事前分布、半教師付き学習の各要素が性能向上に顕著に寄与していることが確認された。
• カメラの大きな動きや重度の雨筋が観測される状況では失敗ケースが発生し、現在のMRF事前分布が極端なダイナミクスをモデル化する能力に限界があることが示唆された。