[論文レビュー] Density-aware Single Image De-raining using a Multi-stream Dense Network

He Zhang, Vishal M. Patel|arXiv (Cornell University)|Feb 21, 2018

Image Enhancement Techniques参考文献 40被引用数 95

ひとこと要約

DID-MDN は雨密度を同時推定し、多流の密結合ネットワークでデレインを行い、合成データと実データの両方で最先端の結果を達成します。

ABSTRACT

Single image rain streak removal is an extremely challenging problem due to the presence of non-uniform rain densities in images. We present a novel density-aware multi-stream densely connected convolutional neural network-based algorithm, called DID-MDN, for joint rain density estimation and de-raining. The proposed method enables the network itself to automatically determine the rain-density information and then efficiently remove the corresponding rain-streaks guided by the estimated rain-density label. To better characterize rain-streaks with different scales and shapes, a multi-stream densely connected de-raining network is proposed which efficiently leverages features from different scales. Furthermore, a new dataset containing images with rain-density labels is created and used to train the proposed density-aware network. Extensive experiments on synthetic and real datasets demonstrate that the proposed method achieves significant improvements over the recent state-of-the-art methods. In addition, an ablation study is performed to demonstrate the improvements obtained by different modules in the proposed method. Code can be found at: https://github.com/hezhangsprinter

研究の動機と目的

• 単一画像における非均一な雨密度下での堅牢なデアレインを動機づける。
• 雨密度レベルを自動的に推定する密度認識フレームワークを導入する。
• さまざまな雨筋のスケールと形状に対応する、マルチストリーム密結合ネットワークを開発する。
• 密度認識コンポーネントを訓練するため、雨密度ラベルを含む合成データセットを作成する。
• 広範な実験とアブレーションを通じて、最先端手法に対する改善を示す。

提案手法

• 2段階アーキテクチャ：残差認識型雨密度分類器とマルチストリーム密結合デアレインネットワーク。
• 残差成分 r = y - x を密度分類の特徴として用い、堅牢な密度ラベルを生成する。
• 残差認識型分類器は雨密度（low/medium/high）を推定し、特徴抽出→分類の2段階プロトコルで訓練される。
• 3ストリームの密結合ネットワーク（Dense1 7x7、Dense2 5x5、Dense3 3x3）は、異なるスケールの雨筋を捉え、すべてのストリームの特徴を結合して雨筋推定を行う。
• 密度情報は密度ラベルマップをアップサンプリングしてマルチストリーム特徴と連結することで統合し、雨残差を推定する。
• 最終的なデアレインは推定された残差を用いて粗い出力を生成し、追加の畳み込み層で改良する。
• 損失は残差推定損失、デアレイン後の画像再構成損失、VGG-16 (relu1_2) から計算される知覚/特徴損失を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 単一の降雨画像から雨密度を自動推定し、それをデアレインのガイドに活用できるか？
• RQ2 多スケールの密結合が、さまざまな形状・サイズの雨筋の除去を改善するか？
• RQ3 残差ベースの密度分類器を取り入れることで、異なる雨条件への一般化能力は向上するか？
• RQ4 密度ガイド手法は、合成データと実データのいずれにおいても最先端のデアレイン法とどのように比較されるか？

主な発見

• DID-MDN は、合成データセットの Test1 および Test2 において、DSC、GMM、CNN、JORDER、DDN、JBO などの複数のベースラインよりも優れた SSIM と PSNR を達成。
• 残差認識型密度分類器は、雨密度推定で VGG-16 を上回り（Test1 の精度 85.15% 対 73.32%）。
• 密度認識を取り入れたマルチストリーム密結合ネットワークとラベル融合は、背景のディテールを保持しつつ雨筋を除去し、単一ストリームや非融合のマルチスケール變種を上回る。
• 実世界の画像で、強雨・中等雨・弱雨の各シナリオで多様な雨筋を効果的に除去し、ディテールを保持する。
• アブレーション実験では、ラベル融合とマルチストリーム設計が、密度ガイダンスを欠く構成やストリーム数が少ない構成と比較して顕著に改善。
• 実行時間は競争力があり、GPU上で512x512画像あたり約0.3秒程度。