[論文レビュー] Rethinking Image Deraining via Rain Streaks and Vapors

Yinglong Wang, Yibing Song+2 more|arXiv (Cornell University)|Aug 3, 2020

Image Enhancement Techniques参考文献 28被引用数 6

ひとこと要約

本稿では、雨のストライプと水蒸気を背景成分ではなく透過媒体としてモデル化することで、画像の除雨を再考する新しい深層学習フレームワークを提案する。SNetはシャッフルネットユニットを用いて異方的特徴を学習し、雨のストライプの透過マップを予測する。VNetは空間ピラミッドプーリングを備え、ストライプから水蒸気をモデル化する。ANetは大気光の推定を担当する。これらは共同学習により、ベンチマークデータセットで最先端の除雨性能を達成する。

ABSTRACT

Single image deraining regards an input image as a fusion of a background image, a transmission map, rain streaks, and atmosphere light. While advanced models are proposed for image restoration (i.e., background image generation), they regard rain streaks with the same properties as background rather than transmission medium. As vapors (i.e., rain streaks accumulation or fog-like rain) are conveyed in the transmission map to model the veiling effect, the fusion of rain streaks and vapors do not naturally reflect the rain image formation. In this work, we reformulate rain streaks as transmission medium together with vapors to model rain imaging. We propose an encoder-decoder CNN named as SNet to learn the transmission map of rain streaks. As rain streaks appear with various shapes and directions, we use ShuffleNet units within SNet to capture their anisotropic representations. As vapors are brought by rain streaks, we propose a VNet containing spatial pyramid pooling (SSP) to predict the transmission map of vapors in multi-scales based on that of rain streaks. Meanwhile, we use an encoder CNN named ANet to estimate atmosphere light. The SNet, VNet, and ANet are jointly trained to predict transmission maps and atmosphere light for rain image restoration. Extensive experiments on the benchmark datasets demonstrate the effectiveness of the proposed visual model to predict rain streaks and vapors. The proposed deraining method performs favorably against state-of-the-art deraining approaches.

研究の動機と目的

• 既存の除雨手法が雨のストライプを背景の一部として扱うため、強い雨条件下で性能が劣ることを是正すること。
• 両者を透過媒体として再定義することで、雨のストライプと水蒸気の複雑な混合状態をより正確にモデル化すること。
• 雨のストライプと水蒸気の透過マップを共同で学習し、大気光の推定を組み合わせることで、除雨品質を向上させること。
• 雨の画像の物理的形成を明示的にモデル化することで、ベンチマークデータセットにおいてより優れた視覚的品質と定量的性能を達成すること。

提案手法

• 雨の画像形成を I = (Ts + Tv) ⊙ J + (1 - Ts - Tv) ⊙ A として再定式化する。ここで、Ts と Tv はそれぞれ雨のストライプと水蒸気の透過マップを表す。
• SNetを提案する。シャッフルネットユニットを用いたエンコーダ・デコーダ型のCNNであり、雨のストライプの異方的表現を学習し、Ts を予測する。
• VNetを設計する。入力 I と予測された Ts をもとに、空間ピラミッドプーリング（SPP）を用いてマルチスケールで Tv を予測する。
• ANetを導入する。大気光 A を推定する専用のエンコーダーCNNであり、低透過条件下で事前学習を行う。
• SNet、VNet、ANetをエンドツーエンドで共同学習させ、高精度な背景回復を最適化するための透過マップと大気光を最適化する。
• 要素ごとの乗算と特徴マップの連結を用いて、背景、雨のストライプ、水蒸気、大気光の間の物理的相互作用をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 画像形成プロセスにおいて、雨のストライプと水蒸気をより正確にモデル化することで、除雨性能をどのように向上させられるか？
• RQ2 強い雨における雨のストライプの異方的・方向的特性を捉えるために、どのネットワークアーキテクチャが最も効果的か？
• RQ3 水蒸気を別個の透過媒体としてモデル化することで、背景の一部とみなす手法と比較して、修復品質が向上するか？
• RQ4 透過マップ予測と大気光推定の共同学習が、除雨結果にどのように影響するか？
• RQ5 マルチスケールの空間ピラミッドプーリングを組み込むことで、水蒸気効果のモデル化がどの程度向上するか？

主な発見

• 提案手法は、Rain-II データセットにおいて SPANet よりも約 4 dB の PSNR 向上を達成し、優れた定量的性能を示した。
• 3つのベンチマークデータセット（Rain-I, Rain-II, Rain-III）すべてで、最小の Fréchet Inception Distance（FID）スコアを記録し、正解画像との高い知覚的類似性を示した。
• SNet、VNet、ANetの共同学習は、事前学習済みコンponentsのみを用いた学習と比較して、特にはっきりとした細部の保持やホイート感の除去において、著しく除雨品質を向上させた。
• 視覚的結果から、本手法は、従来の手法がストライプを除去できない強雨条件下でも、雨のストライプと水蒸気の両方を効果的に除去できることを示した。
• アブレーションスタディの結果、VNetによる水蒸気のモデル化は、はっきりとしたホワイトアウトやブロッキングアーティファクトを低減した。また、共同学習により全体の修復忠実度が向上した。
• 推論時間は効率的であり、表4に示す通り、実用応用への適性が高いことが示された。