[論文レビュー] Structure-Preserving Deraining with Residue Channel Prior Guidance

Qiaosi Yi, Juncheng Li+4 more|arXiv (Cornell University)|Aug 20, 2021

Image Enhancement Techniques参考文献 47被引用数 5

ひとこと要約

本稿では、残留チャネル先行（RCP）ガイドランスを活用して、正確な構造的詳細を保持する高品質な雨なし画像を再構築する構造を保存するデレインニングネットワーク、SPDNetを提案する。ウェーブレットに基づくマルチレベルモジュール、インタラクティブ統合モジュール、反復的RCP精製戦略を統合することで、雨生成仮定に依存せずに、合成および実世界のデレインニングベンチマークで最先端の性能を達成する。

ABSTRACT

Single image deraining is important for many high-level computer vision tasks since the rain streaks can severely degrade the visibility of images, thereby affecting the recognition and analysis of the image. Recently, many CNN-based methods have been proposed for rain removal. Although these methods can remove part of the rain streaks, it is difficult for them to adapt to real-world scenarios and restore high-quality rain-free images with clear and accurate structures. To solve this problem, we propose a Structure-Preserving Deraining Network (SPDNet) with RCP guidance. SPDNet directly generates high-quality rain-free images with clear and accurate structures under the guidance of RCP but does not rely on any rain-generating assumptions. Specifically, we found that the RCP of images contains more accurate structural information than rainy images. Therefore, we introduced it to our deraining network to protect structure information of the rain-free image. Meanwhile, a Wavelet-based Multi-Level Module (WMLM) is proposed as the backbone for learning the background information of rainy images and an Interactive Fusion Module (IFM) is designed to make full use of RCP information. In addition, an iterative guidance strategy is proposed to gradually improve the accuracy of RCP, refining the result in a progressive path. Extensive experimental results on both synthetic and real-world datasets demonstrate that the proposed model achieves new state-of-the-art results. Code: https://github.com/Joyies/SPDNet

研究の動機と目的

• 単一画像デレインニングにおいて、既存のCNNベースの手法がしばしば正確なオブジェクト構造を回復できない複雑な実世界シナリオにおいて、構造的詳細を保持する課題に対処すること。
• 雨ストライプの予測と除去に焦点を当てた先行のCNNベースのデレインニング手法の限界を克服すること。これにより、過剰または不十分な除去や構造的劣化が生じる可能性がある。
• 雨の多い画像ですでに明確な構造的情報を保持する可能性がある、新たな画像先行である残留チャネル先行（RCP）を探索および活用すること。これにより、デレインニング中に優れた構造的保持が可能になる。
• 再構築過程でRCP推定値を段階的に精製するプログレッシブで反復的なガイドランス機構を開発すること。
• オブジェクト検出や認識などの下流ビジョンタスクにおけるデレインニングの実用的利点を実証すること。

提案手法

• 雨の多い画像からマルチスケールの背景特徴を学習するバックボーンとして、ウェーブレットに基づくマルチレベルモジュール（WMLM）を提案し、構造的コンテンツの表現を強化する。
• RGB成分の最大値と最小値の差分を計算することで、雨の多い画像の中でも構造的エッジを保持する先行を生成するRCP抽出モジュールを設計する。
• WMLMとRCPの特徴を動的に統合して、構造的に正確な雨なし画像の再構築を支援するインタラクティブ統合モジュール（IFM）を導入する。
• 中間のデレインニング結果から再びRCPを推定する反復的ガイドランス戦略を実装し、段階的に先行を精製することで再構築品質を向上させる。
• ピクセルレベルの忠実度と構造的一致性の両方を確保するため、L1損失と知覚的損失の組み合わせを用いてエンドツーエンドのSPDNetモデルを訓練する。
• RCPの品質が画像品質とともに向上することに着目し、反復的精製ループがRCPおよび最終出力の両方を向上させることを可能にする。

Figure 1: An example of image deraining results. Obviously, SPDNet can reconstruct high-quality image with clear and accurate structure.

実験結果

リサーチクエスチョン

• RQ1 雨の多い画像から抽出された残留チャネル先行（RCP）は、デレインニングにおいて信頼できる構造的先行として機能するのか？
• RQ2 従来の雨ストライプ予測と除去と比較して、RCPガイドランス学習はオブジェクト構造の保持にどのように寄与するのか？
• RQ3 中間結果に基づいてRCPを更新する反復的精製戦略は、デレインニング性能および構造的正確性を向上させるのか？
• RQ4 RCPガイドランスは、雨の多い状況下でのオブジェクト検出や認識といった下流ビジョンタスクに、どの程度向上効果をもたらすのか？
• RQ5 明示的な雨レイヤーモデリングに依存せずに、ウェーブレットに基づくマルチレベル特徴抽出器は、雨の多い画像における構造的詳細を効果的に捉えることができるのか？

主な発見

• SPDNetは、合成データ（DID-Enhance、SIDD）および実世界データ（Real-World Deraining Benchmark）の両方のデレインニングデータセットで最先端の性能を達成し、PSNR、SSIM、LPIPSの指標において先行手法を上回る。
• アブレーションスタディにより、RCPガイドランスが構造的忠実度を顕著に向上させることを確認した。視覚的結果では、ベースラインと比較して、より明確で正確なオブジェクト境界が得られている。
• 反復的ガイドランス戦略により、定量的な性能向上が見られた。中間出力からのRCPを用いることで、元の雨の多い画像からのRCPのみを用いる場合よりも結果が向上しており、段階的精製の価値が裏付けられた。
• COCO350データセットでは、SPDNetのデレインニング結果がmAP-50で0.692を達成し、DRDNet（0.551）、DCSFN（0.652）、RCDNet（0.658）および他の最先端手法を大きく上回った。これは、検出性能の向上を示している。
• Google Vision APIの評価では、SPDNetが30枚の実世界の雨の多い画像の雨検出の信頼度を平均0.18まで低下させ、他の手法よりも顕著に低い値を示しており、より効果的な雨の除去が行われていることを示している。
• 視覚的比較および定性的な結果から、SPDNetが、特に密集した雨ストライプを伴う複雑なシーンにおいて、より鋭いエッジ、明確なテクスチャ、より一貫性のある構造を持つ画像を再構築していることが確認された。

Figure 3: The overall architecture of the proposed Structure-Preserving Deraining Network (SPDNet).