[論文レビュー] Fast Single Image Rain Removal via a Deep Decomposition-Composition Network

Siyuan Li, Wenqi Ren+3 more|arXiv (Cornell University)|Apr 8, 2018

Image Enhancement Techniques参考文献 25被引用数 14

ひとこと要約

本稿では、単一画像の雨除去のための高速でエンド・ツー・エンドの深層分解・再構成ネットワーク（DDC-Net）を提案する。本手法は、新たなデュアルストリームアーキテクチャと再構成モジュールを用いて、雨が降った画像を綺麗な背景層と雨層に分解する。この方法は、VGA画像あたり50ms未塔の推論速度を達成し、最先端の性能を発揮する。これは、リアルタイム応用に非常に適している。

ABSTRACT

Rain effect in images typically is annoying for many multimedia and computer vision tasks. For removing rain effect from a single image, deep leaning techniques have been attracting considerable attentions. This paper designs a novel multi-task leaning architecture in an end-to-end manner to reduce the mapping range from input to output and boost the performance. Concretely, a decomposition net is built to split rain images into clean background and rain layers. Different from previous architectures, our model consists of, besides a component representing the desired clean image, an extra component for the rain layer. During the training phase, we further employ a composition structure to reproduce the input by the separated clean image and rain information for improving the quality of decomposition. Experimental results on both synthetic and real images are conducted to reveal the high-quality recovery by our design, and show its superiority over other state-of-the-art methods. Furthermore, our design is also applicable to other layer decomposition tasks like dust removal. More importantly, our method only requires about 50ms, significantly faster than the competitors, to process a testing image in VGA resolution on a GTX 1080 GPU, making it attractive for practical use.

研究の動機と目的

• 悪天候下におけるコンピュータビジョンタスクの堅牢な性能を確保する上で極めて重要な、単一画像の雨除去の課題に対処すること。
• ネットワークアーキテクチャに専用の雨層コンponentを導入することで、雨層分解の不適切な性質を克服すること。
• 分離されたコンポーネントから入力を再構成するための組み込みネットワークを含むエンド・ツー・エンド学習スキームにより、分解品質を向上させること。
• 実用的な展開を可能にするために、リアルタイム推論速度を達成すること。
• 監視なしのデータを用いた微調整により、窓のほこりや汚れ除去などの他のレイヤー分解タスクへの一般化を示すこと。

提案手法

• 分解ネットワークと再構成ネットワークという2つの主要なサブネットワークを備えた深層分解・再構成ネットワーク（DDC-Net）を設計する。
• 従来の手法が綺麗な画像のみを予測するのに対し、分解ネットワークは明示的に綺麗な背景と雨層の両方を予測する。
• 学習中に、再構成ネットワークはブレンド関数 Ψ(·,·) を用いて、予測された綺麗な層と雨層から元の雨が降った画像を再構成する。
• 再構成モジュールは、分解プロセスの品質と一貫性を向上させるための監視信号として機能する。
• 合成データを用いた学習の後、より良い一般化を図るために、対応のない実データを用いたファインチューニングを実施する。
• 深層ニューラルネットワークの効率性を活用し、GTX 1080 GPU上でVGA画像1枚あたり約50msの推論速度を達成する。

実験結果

リサーチクエスチョン

• RQ1 綺麗な背景と雨層を同時に明示的にモデル化する深層学習アーキテクチャは、綺麗な画像のみを予測する手法と比較して、分解精度を向上させることができるか？
• RQ2 分離されたコンポーネントから入力画像を再構成する再構成ネットワークを導入することで、学習中の分解品質が向上するか？
• RQ3 合成データで事前学習し、対応のない実データでファインチューニングしたモデルは、実世界の雨が降った画像にうまく一般化できるか？
• RQ4 特にリアルタイム応用において、既存の最先端の雨除去ネットワークと比較して、提案手法の推論速度はどの程度速いか？
• RQ5 提案されたアーキテクチャは、ほこりや水あざ除去などの他のレイヤー分解タスクにも一般化可能か？

主な発見

• 提案されたDDC-Netは、合成データおよび実世界の雨が降った画像データセットの両方で最先端の性能を達成し、GMM、JORDER、DDN、ID-CGANなどの手法を視覚的品質および定量的指標において上回った。
• 実世界の画像において、DDC-Netは雨のストリークを効果的に除去しながら、イヤホンのコードや顔のテクスチャといった細かいディテールを保持しており、過剰に滑らかにしたり色が劣化したりするのを防いでいる。
• DDC-Netは、ID-CGANの結果で一般的に見られるハローアーティファクトや色の歪みを顕著に低減した。
• GTX 1080 GPU上でVGA画像1枚あたり約50msの推論速度を達成しており、DDNの約5倍速く、CPUベースのGMMよりも著しく高速である。
• 図8の窓の画像におけるほこりや水あざの除去の例から、モデルが他のレイヤー分解タスクにもうまく一般化できていることが示された。
• 再構成損失と合成データおよび実データの定性的な結果の両方から、再構成ネットワークモジュールが分解品質の向上に寄与していることが裏付けられた。