[論文レビュー] Joint Rain Detection and Removal via Iterative Region Dependent Multi-Task Learning.

Wenhan Yang, Robby T. Tan+4 more|arXiv (Cornell University)|Sep 25, 2016

Image Enhancement Techniques参考文献 35被引用数 42

ひとこと要約

本論文は、特に重度の雨天条件下において、単一画像からの一括雨滴検出および除去を目的とした、反復フィードバックを備えた新規なマルチタスク深層学習フレームワークを提案する。雨の帯と蓄積をそれぞれバイナリマップと拡張畳み込みを用いて別々にモデル化し、反復的情報フィードバックネットワークを採用することで、密集した重なり合う雨の帯とミスト状の蓄積を効果的に除去する。

ABSTRACT

In this paper, we address a rain removal problem from a single image, even in the presence of heavy rain and rain accumulation. Our core ideas lie in our new rain image models and a novel deep learning architecture. We first modify the commonly used model, which is a linear combination of a rain streak layer and a background layer, by adding a binary map that locates rain streak regions. Second, we create a model consisting of a component representing rain accumulation (where individual streaks cannot be seen, and thus visually similar to mist or fog), and another component representing various shapes and directions of overlapping rain streaks, which normally happen in heavy rain. Based on the first model, we develop a multi-task deep learning architecture that learns the binary rain streak map, the appearance of rain streaks, and the clean background, which is our ultimate output. The additional binary map is critically beneficial, since its loss function can provide additional strong information to the network. In many cases though, rain streaks can be dense and large in their size, thus to obtain the clean background, we need spatial contextual information. For this, we utilize the dilated convolution. To handle rain accumulation (again, a phenomenon visually similar to mist or fog) and various shapes and directions of overlapping rain streaks, we propose an iterative information feedback (IIF) network that removes rain streaks and clears up the rain accumulation iteratively and progressively. Overall, this multi-task learning and iterative information feedback benefits each other and constitutes a network that is end-to-end trainable. Our extensive evaluation on real images, particularly on heavy rain, shows the effectiveness of our novel models and architecture, outperforming the state-of-the-art methods significantly.

研究の動機と目的

• 雨の帯が密集しており、雨の蓄積が霧やミストに似ている重度の雨天条件下における単一画像からの雨除去の課題に対処すること。
• バイナリセグメンテーションマップを用いて雨の帯領域を明示的に検出することで、雨除去の精度を向上させること。
• 拡張畳み込みを用いて空間的文脈情報を活用することで、背景再構築を向上させること。
• 反復的フィードバックメカニズムを用いて複数段階にわたり予測を段階的に改善することで、雨を順次除去すること。
• 雨の帯検出、外観モデリング、綺麗な背景再構築を同時に最適化できるエンドツーエンドで学習可能なアーキテクチャを開発すること。

提案手法

• 画像を3つの成分に分離する修正された画像分解モデルを導入：バイナリ雨帯マップ、雨帯外観層、綺麗な背景層。
• 個々の帯とは別に雨の蓄積をモデル化するためのコンponentを組み込み、視覚的に霧に似た雨の効果を表現する。
• 共有された特徴表現を用いて、同時にバイナリ雨マップ、雨帯外観、綺麗な背景を予測するマルチタスク学習フレームワークを採用。
• 長距離の空間的文脈を捉えるために拡張畳み込みを用い、重度の雨が降る領域における背景再構築を改善。
• 複数段階にわたり特徴をフィードバックすることで、段階的に雨除去を改善する反復的情報フィードバック（IIF）ネットワークを設計。
• バイナリマップの損失を強力な教師信号として活用し、特徴学習と検出精度の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 バイナリマップによる雨帯領域の明示的モデリングが、単一画像からの雨除去ネットワークの性能向上に寄与するか？
• RQ2 深層学習モデルが、重なり合う雨帯と雨の蓄積（霧に似た効果）を統合的なフレームワークで効果的に処理できるか？
• RQ3 雨除去予測の反復的精錬が、最終的な綺麗な画像の品質にどの程度向上効果をもたらすか？
• RQ4 検出、外観、背景再構築の共有特徴を用いたマルチタスク学習は、単一タスクアプローチに比べてより良い一般化性能を達成できるか？
• RQ5 実世界の重度の雨天画像において、提案手法は最先端の手法に比べてどのように優れているか？

主な発見

• 提案手法は、実世界の重度の雨天画像において、既存の最先端手法を上回る優れた視覚的および定量的結果を示した。
• 教師付きタスクとしてバイナリ雨帯マップを組み込むことで、検出精度と特徴学習が顕著に向上し、全体的な性能向上に寄与した。
• 反復的情報フィードバック機構により、雨帯と蓄積が段階的に除去され、より綺麗な背景再構築が実現した。
• 拡張畳み込みは空間的文脈を効果的に捉え、アーチファクトを低減させ、雨影響を受ける領域の背景回復品質を向上させた。
• 共有特徴を用いたマルチタスクアーキテクチャにより、エンドツーエンド学習が可能となり、多様な雨パターンにわたる一般化性能が向上した。
• 密集した重なり合う雨帯およびミスト状の雨の蓄積に対しても、提案手法は頑健であり、先行手法が困難としていた課題に対しても効果を示した。