[論文レビュー] A Coarse-to-Fine Multi-stream Hybrid Deraining Network for Single Image Deraining

Yanyan Wei, Zhao Zhang+3 more|arXiv (Cornell University)|Aug 28, 2019

Image Enhancement Techniques参考文献 42被引用数 14

ひとこと要約

本論文では、二重パス残差密集ブロックを用いて特徴抽出を強化し、SSIMと知覚的損失を組み合わせることで、より優れた除雨性能を実現する粗〜細かいマルチストリームハイブリッド除雨ネットワーク、MH-DerainNetを提案する。本手法は、雨縞を正確に除去しながら画像の詳細やグローバル構造を保持する能力により、合成および実際の雨の画像データセットの両方で最先端の性能を達成する。

ABSTRACT

Single image deraining task is still a very challenging task due to its ill-posed nature in reality. Recently, researchers have tried to fix this issue by training the CNN-based end-to-end models, but they still cannot extract the negative rain streaks from rainy images precisely, which usually leads to an over de-rained or under de-rained result. To handle this issue, this paper proposes a new coarse-to-fine single image deraining framework termed Multi-stream Hybrid Deraining Network (shortly, MH-DerainNet). To obtain the negative rain streaks during training process more accurately, we present a new module named dual path residual dense block, i.e., Residual path and Dense path. The Residual path is used to reuse com-mon features from the previous layers while the Dense path can explore new features. In addition, to concatenate different scaled features, we also apply the idea of multi-stream with shortcuts between cascaded dual path residual dense block based streams. To obtain more distinct derained images, we combine the SSIM loss and perceptual loss to preserve the per-pixel similarity as well as preserving the global structures so that the deraining result is more accurate. Extensive experi-ments on both synthetic and real rainy images demonstrate that our MH-DerainNet can deliver significant improvements over several recent state-of-the-art methods.

研究の動機と目的

• 単一画像除雨の不適切な性質に対処する。雨縞を過剰または不十分に除去せずに除去することが難しい。
• 二重パス残差密集ブロックアーキテクチャを用いて、残差接続と密集接続を組み合わせることで特徴抽出を向上させる。
• ショートカット接続を備えた段階的なマルチストリームアーキテクチャにより、マルチスケール特徴の統合を強化する。
• SSIMと知覚的損失関数の組み合わせにより、ピxls単位の類似性とグローバル画像構造を維持する。
• 従来の最先端手法と比較して、合成および実世界の雨の画像の両方で優れた除雨性能を達成する。

提案手法

• 残差パスによる特徴の再利用と、新しい特徴の学習を目的とする密集パスを組み合わせた二重パス残差密集ブロックを導入する。
• ショートカット接続を介して接続された段階的な二重パス残差密集ブロックを備えたマルチストリームアーキテクチャを採用し、効果的なマルチスケール特徴の統合を実現する。
• 低解像度から高解像度の特徴へと段階的に除雨結果を精緻化する粗〜細かい学習戦略を採用する。
• 構造的一致性と知覚的品質の両立を図るため、SSIM損失と知覚的損失を組み合わせる。
• 異なるスケールおよび深さ間で特徴を保持・伝達するために、ストリーム間のスキップ接続を活用する。
• ピxlsレベルの精度と知覚的リアリズムの両立を図るため、ハイブリッド損失関数を用いてエンドツーエンドのネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 粗〜細かいマルチストリームアーキテクチャは、単一画像除雨における雨縞除去の精度を向上させることができるか？
• RQ2 二重パス残差密集ブロックの統合は、標準の残差ブロックや密集ブロックと比較して特徴表現を向上させるか？
• RQ3 SSIMと知覚的損失を組み合わせることで、除雨画像の知覚的品質と構造的忠実性はどの程度向上するか？
• RQ4 提案手法であるMH-DerainNetは、合成データのみで学習されたベースラインと比較して、実世界の雨の画像に対してどの程度の性能を示すか？
• RQ5 マルチストリームでハイブリッドなアーキテクチャは、多様な雨のパターンや画像コンテンツに対してより一般化しやすいか？

主な発見

• MH-DerainNetは、合成および実際の雨の画像ベンチマークの両方で、最近の最先端の除雨手法と比較して顕著な向上を達成する。
• SSIMと知覚的損失の組み合わせにより、構造的類似性が高く、視覚的品質の優れた除雨画像が得られる。
• 二重パス残差密集ブロックの設計により、より効果的な特徴学習が可能となり、過剰または不十分な除雨アーティファクトが低減される。
• ショートカット接続を備えたマルチストリームアーキテクチャにより、特徴の伝搬とマルチスケール表現が向上する。
• 本モデルは実世界の雨の画像に対しても優れた一般化性能を示し、合成データのみで学習された手法を上回る。
• 定量的評価では、ベンチマークデータセットで優れたPSNRおよびSSIMスコアが得られ、本手法の有効性が裏付けられる。