[論文レビュー] Deep Joint Rain Detection and Removal from a Single Image

Wenhan Yang, Robby T. Tan+4 more|arXiv (Cornell University)|Sep 25, 2016

Image Enhancement Techniques参考文献 37被引用数 10

ひとこと要約

本稿では、単一画像からの雨の検出と除去を統合するための深層学習フレームワークを提案する。新規の領域依存雨モデルを導入し、バイナリマップを介して雨のストリークを明示的に検出するとともに、雨の蓄積や重なりが生じるストリークのモデリングを実現する。多タスクネットワークに文脈的拡張畳み込みと再帰的アーキテクチャを組み合わせ、段階的に雨を除去する。重い雨と実世界の画像において最先端の性能を達成し、困難なベンチマークでPSNRの向上が1 dBを超える。

ABSTRACT

In this paper, we address a rain removal problem from a single image, even in the presence of heavy rain and rain streak accumulation. Our core ideas lie in the new rain image models and a novel deep learning architecture. We first modify an existing model comprising a rain streak layer and a background layer, by adding a binary map that locates rain streak regions. Second, we create a new model consisting of a component representing rain streak accumulation (where individual streaks cannot be seen, and thus visually similar to mist or fog), and another component representing various shapes and directions of overlapping rain streaks, which usually happen in heavy rain. Based on the first model, we develop a multi-task deep learning architecture that learns the binary rain streak map, the appearance of rain streaks, and the clean background, which is our ultimate output. The additional binary map is critically beneficial, since its loss function can provide additional strong information to the network. To handle rain streak accumulation (again, a phenomenon visually similar to mist or fog) and various shapes and directions of overlapping rain streaks, we propose a recurrent rain detection and removal network that removes rain streaks and clears up the rain accumulation iteratively and progressively. In each recurrence of our method, a new contextualized dilated network is developed to exploit regional contextual information and outputs better representation for rain detection. The evaluation on real images, particularly on heavy rain, shows the effectiveness of our novel models and architecture, outperforming the state-of-the-art methods significantly. Our codes and data sets will be publicly available.

研究の動機と目的

• 既存の雨除去手法がテクスチャを過剰に平滑化し、雨の蓄積や重なりが生じる複雑な現象を正しくモデル化できないという限界を是正すること。
• 雨領域の検出と雨の除去を統合的に処理する深層学習フレームワークを構築し、検出マップを教師信号として活用することで、復元品質を向上させること。
• 視覚的にミスト／はだかに似た雨のストリーク蓄積と、特に重い雨における多様なストリークの方向性をモデル化し、より現実的で一般化性の高いトレーニングデータを提供すること。
• 大容量の受容 field を持つ文脈的拡張畳み込みネットワークを用いることで、局所的詳細を保持しつつ長距離の依存関係を捉える文脈理解を強化すること。
• 雨の蓄積に起因する極端な状況（重い雨）に対処するため、段階的に出力を精練する再帰的雨検出・除去プロセスを採用すること。

提案手法

• 画像を3つの成分に分解する新規の領域依存雨画像モデルを導入：雨ストリークのバイナリマップ（ストリークの可視性を示す）、雨の蓄積成分（ミストに似た覆いをモデル化）、背景層。
• 雨のバイナリマップ、雨の外観、綺麗な背景を同時に予測する多タスク深層ネットワークを構築。バイナリマップが除去プロセスをガイドする強力な教師信号を提供する。
• 並列の拡張畳み込みを用いて受容 field を拡大し、マルチスケールの文脈的情報を豊かに表現する文脈的拡張畳み込みネットワークを採用。
• 繰り返し処理により雨の除去を段階的に精練する再帰的雨検出・除去ネットワークを提案。重なりや密集したストリークを順次除去しながら、画像の詳細を保持する。
• 再帰的フレームワーク内に脱着モジュールを統合し、雨の蓄積による大気的ベールに対処。雨除去・脱着・再雨除去のパイプラインを可能にし、より良い結果を得る。
• 再構成損失と雨マスクにおけるバイナリクロスエントロピー損失の組み合わせにより、エンド・トゥ・エンド最適化を実現。

実験結果

リサーチクエスチョン

• RQ1 分離された検出と除去アプローチよりも、単一画像からの雨の検出と除去を統合的に処理する深層学習モデルは、より効果的であるか？
• RQ2 重い雨における雨ストリークの蓄積と重なりをどのようにモデリングすることで、トレーニングデータの現実性とネットワークの一般化性を向上させられるか？
• RQ3 段階的精錬を特徴とする再帰的アーキテクチャは、複雑で高密度の雨状況において、どの程度雨除去性能を向上させられるか？
• RQ4 大容量の受容 field を持つ文脈的拡張畳み込みネットワークは、局所的画像詳細を保持しつつ、長距離の文脈的手がかりを捉えることで、雨の検出と除去に寄与するか？
• RQ5 雨の蓄積に起因する大気的ベール効果に対処するため、脱着モジュールを雨除去パイプラインに統合することで、性能が向上するか？

主な発見

• Rain100Hベンチマークでは、提案手法JORDER-RがPSNR 23.45を達成し、前回最良手法（JORDER）の22.15を大きく上回り、1 dB以上の向上を示した。
• Rain12データセットでは、JORDERがPSNR 36.02、SSIM 0.96を達成し、SRCNN や DSC を含むすべての先行手法を上回った。
• 再帰的アーキテクチャ（JORDER-R）は、重い雨画像において顕著な向上を示し、密集・重なりが生じるストリークの段階的除去に有効であることが証明された。
• 雨でない領域の繊細なテクスチャやエッジを保持しており、従来手法で見られる過剰な平滑化を回避した。
• 雨とミストに似たベールが併存する画像に対して、雨除去→脱着→再雨除去のパイプライン（JORDER-R-DEHAZE）が優れた視覚的結果を達成した。
• 500×500の画像の推論時間はGPU上で10秒未満であり、先行SOTA手法と比較して計算的にも効率的であった。