[論文レビュー] Single Image Deraining using Scale-Aware Multi-Stage Recurrent Network

Ruoteng Li, Loong‐Fah Cheong+1 more|arXiv (Cornell University)|Dec 19, 2017

Image Enhancement Techniques参考文献 22被引用数 28

ひとこと要約

本論文では、さまざまなサイズと密度の雨じめりを並列サブネットワークで処理するスケールに注意を払ったマルチステージ再帰的畳み込みニューラルネットワークを提案し、重度の雨やヴェーリング効果の下でも顕著に性能向上を達成した。この手法は、合成データおよび実世界のデータセットの両方で最先端の手法を上回り、スケールに特化した雨の特徴を明示的にモデル化することで、性能を向上させた。

ABSTRACT

Given a single input rainy image, our goal is to visually remove rain streaks and the veiling effect caused by scattering and transmission of rain streaks and rain droplets. We are particularly concerned with heavy rain, where rain streaks of various sizes and directions can overlap each other and the veiling effect reduces contrast severely. To achieve our goal, we introduce a scale-aware multi-stage convolutional neural network. Our main idea here is that different sizes of rain-streaks visually degrade the scene in different ways. Large nearby streaks obstruct larger regions and are likely to reflect specular highlights more prominently than smaller distant streaks. These different effects of different streaks have their own characteristics in their image features, and thus need to be treated differently. To realize this, we create parallel sub-networks that are trained and made aware of these different scales of rain streaks. To our knowledge, this idea of parallel sub-networks that treats the same class of objects according to their unique sub-classes is novel, particularly in the context of rain removal. To verify our idea, we conducted experiments on both synthetic and real images, and found that our method is effective and outperforms the state-of-the-art methods.

研究の動機と目的

• 重ね合わさった多スケールの雨じめりと大気的ヴェーリング効果を扱う際に、既存の除雨手法に見られる限界を解消すること。
• サイズや密度が異なる濃密で重なり合う雨じめりに対処する際、特徴ベースおよび学習ベースの手法の非効率性を克服すること。
• 雨じめりを一様なクラスとして扱うのではなく、スケールに基づくサブクラスとして扱うことで、より正確で強力な除雨を実現する深層学習アーキテクチャを開発すること。
• 雨滴からの光の散乱によって生じる靄のようなヴェーリング効果を同時に除去することで、雨の画像における視認性の回復を図ること。
• 合成データ（さまざまな雨状況を含む）と実世界の雨の画像を含む多様なデータセットを用いて手法の妥当性を検証し、一般化性と耐障害性を示すこと。

提案手法

• 本手法は、特定のサイズ範囲の雨じめりを検出・除去することに特化した並列サブネットワークを備えたマルチステージでスケールに注意を払ったアーキテクチャを採用している。
• 一般画像特徴を抽出するためのDenseNetベースのバックボーンが、スケールに特化した処理を目的とした並列サブネットワークに入力される前に使用される。
• 各サブネットワークは、雨じめりパターンにおける時間的および空間的依存性をモデル化するための再帰モジュールを用い、段階を経て特徴の精錬を向上させている。
• 本ネットワークは、自由空間の光減衰モデル（α(x) = exp(−βd(x))）を用いて生成された、さまざまな雨じめりのサイズ、密度、大気的ヴェーリング効果を含む合成データセット上でエンド・ツー・エンドに訓練されている。
• シーンの深度d(x)と減衰係数βに基づく深さ依存の透過率（α）を組み込むことで、ヴェーリング効果を明示的にモデル化している。
• すべてのスケールに特化したサブネットワークからの予測を統合することで、残存する雨じめりを最小限に抑え、鋭い物体の境界を保持するクリアな画像が再構成される。

実験結果

リサーチクエスチョン

• RQ1 重なり合う多スケールの雨じめりを有する重度の雨の画像において、マルチステージでスケールに注意を払ったアーキテクチャは除雨性能を向上させることができるか？
• RQ2 雨じめりをサイズと密度に基づくサブクラスとして扱うことで、一様な処理に比べて特徴学習が向上し、クラス内競合が軽減されるか？
• RQ3 本手法は、雨滴からの光の散乱によって生じる雨じめりと大気的ヴェーリング効果の両方を効果的に除去できるか？
• RQ4 スケールに特化したサブネットワークに再帰モジュールを組み込むことで、複数段階にわたる雨の除去の精錬能力が向上するか？
• RQ5 本手法は、複雑で変動する雨のパターンを示す実世界の雨の画像に対しても、どの程度一般化できるか？

主な発見

• さまざまなサイズと密度の雨じめりを有するRain12Sデータセットにおいて、本手法は、濃密で細い雨じめりを含むすべてのタイプのじめり除去において、既存の最先端手法を上回った。
• 100枚の画像を含むCOCOベースの合成データセットでは、本手法は優れたPSNR、SSIM、VIF、FSIMスコアを達成し、多様な雨状況への強力な一般化性を示した。
• BSD300ベースのデータセット（合成されたヴェーリング効果を含む）では、本手法は物体の境界をぼかすことなく、クリアな背景を回復した。JORDER や DetailsNet よりも優れた性能を示した。
• アブレーションスタディの結果、3つの並列再帰モジュールを用いることで最適な性能が得られ、モジュール数を0から3に増やすに従い、PSNRが着実に向上した。
• 実世界の画像評価では、本手法は同時に細い雨じめりと太い雨じめりを効果的に除去できたが、JORDER や DetailsNet は極端な太さや細さの雨じめりの除去に失敗した。
• スケールに注意を払ったマルチステージ設計を有する本ネットワークは、合成データおよび実世界の雨データの両方で、すべての定量的指標および定性的比較において最先端の性能を達成した。