[論文レビュー] Enhanced Spatio-Temporal Interaction Learning for Video Deraining: A Faster and Better Framework

Kaihao Zhang, Dongxu Li+3 more|arXiv (Cornell University)|Mar 23, 2021

Image Enhancement Techniques被引用数 14

ひとこと要約

本論文では、空間的・時間的特徴抽出を強化する3モジュール構造（空間的情報収集モジュール（SICM）、時間的相互作用モジュール（STIM）に新規のインタラクション-CBLSTMを搭載したモジュール、強化された空間的時間的モジュール（ESTM）を備えた）エンドツーエンドの動画レイン除去フレームワーク、ESTINetを提案する。この手法は、3つの公的データセットにおいて、PSNR、SSIM、実行時間の観点で、従来手法を上回る最先端の性能を達成した。

ABSTRACT

Video deraining is an important task in computer vision as the unwanted rain hampers the visibility of videos and deteriorates the robustness of most outdoor vision systems. Despite the significant success which has been achieved for video deraining recently, two major challenges remain: 1) how to exploit the vast information among continuous frames to extract powerful spatio-temporal features across both the spatial and temporal domains, and 2) how to restore high-quality derained videos with a high-speed approach. In this paper, we present a new end-to-end video deraining framework, named Enhanced Spatio-Temporal Interaction Network (ESTINet), which considerably boosts current state-of-the-art video deraining quality and speed. The ESTINet takes the advantage of deep residual networks and convolutional long short-term memory, which can capture the spatial features and temporal correlations among continuing frames at the cost of very little computational source. Extensive experiments on three public datasets show that the proposed ESTINet can achieve faster speed than the competitors, while maintaining better performance than the state-of-the-art methods.

研究の動機と目的

• 動画フレーム間の空間的・時間的相関を効率的に活用して、頑健な動画レイン除去を実現する挑戦に応える。
• 従来の動画レイン除去モデルが直面する、高品質なレイン除去と計算効率のトレードオフを克服する。
• 空間的および時間的特徴抽出を統合的に最適化する、軽量でエンドツーエンドのフレームワークを開発し、レインストリークの除去を向上させる。
• 従来手法と比較して、定量的指標（PSNR、SSIM）および推論速度の両面で最先端の性能を達成する。

提案手法

• 入力の雨が降ったフレームをスタックして、高レベルの空間的特徴を抽出するResNetベースのSICMを採用する。
• STIMに、前フレームの特徴を入力に接続する新規のインタラクション-CBLSTMアーキテクチャを導入し、スケール適応のためのtanh活性化関数を畳み込み演算に置き換える。
• ESTMでは、3D DenseNetに類似したアーキテクチャを用い、粗いレイン除去出力を精錬することで、空間的時間的整合性を高め、現実的なコンテンツを保持する。
• STIMの出力を通じて、SICMおよびSTIMの両コンponentを更新するための、結合損失関数を用いてエンドツーエンド学習を可能にする。
• 残差学習と双方向LSTMを活用して、長距離時間的依存性を効率的にモデル化する。
• STIMにおける計算オーバーヘッドを最小限に抑え、軽量でパラメータ効率の良いモジュールを用いることで、高速化を最適化する。

実験結果

リサーチクエスチョン

• RQ1 軽量な空間的時間的相互作用モジュールは、連続する動画フレーム間の時間的相関を効果的にモデル化できるか？
• RQ2 空間的および時間的特徴抽出の統合は、独立した空間的または時間的モデリングと比較して、レイン除去性能をどのように向上させるか？
• RQ3 新規のインタラクション-CBLSTMアーキテクチャは、標準のConvLSTMやCBLSTMと比較して、最小限の計算コストで時間的ダイナミクスをどれほど効果的に捉えることができるか？
• RQ4 3D DenseNetに基づく精錬モジュール（ESTM）の追加により、粗いレイン除去出力の構造的・知覚的忠実度が著しく向上するか？
• RQ5 提案フレームワークは、従来の最先端手法と比較して、最先端の性能とより高速な推論速度を両立できるか？

主な発見

• NTURainデータセットにおいて、ESTINetはPSNR 37.48 dB、SSIM 0.9700を達成し、比較したすべての最先端手法を上回った。
• アブレーションスタディにより、入力フレーム数を1から5に増やすことでPSNRが2 dB以上向上することが確認され、時間的モデリングの価値が示された。
• インタラクション-CBLSTMモジュール（STIM）は、ConvLSTMおよびB-ConvLSTMの変種を上回る性能を示し、PSNR向上が最大0.72 dBに達した。
• 完全モデル（SICM + STIM (#5) + ESTM）は、SICM + STIM (#5) + 2DCNNと比較して0.2 dBの向上を達成し、ESTMにおける3D畳み込みの有効性を裏付けた。
• ESTINetは、FastDeRainを含む競合手法と比較して顕著に高速であり、標準のデスクトップGPU（GTX 1080 Ti）上での推論速度が速かった。
• NTURainから得た実世界の雨の映像における定性的な結果から、細部やテクスチャを保持したまま、効果的にレインストリークが除去されていることが確認された。