[論文レビュー] Structural Residual Learning for Single Image Rain Removal

Wang Hong, Yichen Wu+4 more|arXiv (Cornell University)|May 19, 2020

Image Enhancement Techniques参考文献 55被引用数 4

ひとこと要約

本稿では、一括画像からの雨除去のための構造的残差ネットワーク（SRNet）を提案する。この手法は、出力残差が内在する雨筋構造に適合するように制約を課すことで、未学習の雨パターンへの一般化性能を向上させる。マルチスケールで拡張された残差ブロックとグローバル残差学習を用いて、雨の形態に関する事前知識をネットワークに埋め込むことで、合成データおよび実世界データの両方で最先端の性能を達成し、優れたロバスト性と詳細の保持性能を示す。

ABSTRACT

To alleviate the adverse effect of rain streaks in image processing tasks, CNN-based single image rain removal methods have been recently proposed. However, the performance of these deep learning methods largely relies on the covering range of rain shapes contained in the pre-collected training rainy-clean image pairs. This makes them easily trapped into the overfitting-to-the-training-samples issue and cannot finely generalize to practical rainy images with complex and diverse rain streaks. Against this generalization issue, this study proposes a new network architecture by enforcing the output residual of the network possess intrinsic rain structures. Such a structural residual setting guarantees the rain layer extracted by the network finely comply with the prior knowledge of general rain streaks, and thus regulates sound rain shapes capable of being well extracted from rainy images in both training and predicting stages. Such a general regularization function naturally leads to both its better training accuracy and testing generalization capability even for those non-seen rain configurations. Such superiority is comprehensively substantiated by experiments implemented on synthetic and real datasets both visually and quantitatively as compared with current state-of-the-art methods.

研究の動機と目的

• 訓練データに存在しない未学習の雨パターンに対して、従来のCNNベースの雨除去手法が示す一般化の失敗を是正すること。
• 雨筋構造に関する事前知識をネットワークアーキテクチャに組み込むことで、一括画像の雨除去におけるロバスト性と一般化性能を向上させること。
• 大規模で多様な訓練ペアを必要とせずに、実世界の雨の画像においても高い性能を維持できるネットワークの開発。
• 時間情報が欠如している状況でも、動画の雨除去に効果的に適用可能な一括画像モデルを用いた雨除去の実現。
• 残差学習プロセスに構造的インダクティブバイアスを埋め込むことで、訓練サンプルへの過学習を低減すること。

提案手法

• 提案されたSRNetは、異なる拡張率を持つ3つの並列サブネットワークを用い、マルチスケールの雨筋構造を捉える。これは、現実の雨筋の繰り返し的かつ方向性のある性質を模倣する。
• 構造的残差学習モジュールを導入し、ネットワークの出力残差が、一貫した形状・厚さ・方向性といった雨パターンに関する事前知識に一致するように制約を課す。
• エンコーダ・デコーダアーキテクチャにスキップ接続とグローバル残差学習を採用し、特徴の忠実性を保持するとともに、学習の安定性を向上させる。
• エンコーダ・デコーダパスでマックスプーリングおよびマックスアンプーリング層を用い、空間的解像度を維持し、正確な特徴再構成を可能にする。
• 並列ブランチ間での重み共有により、モデルパラメータを削減しつつ一般化性能を損なわず、コンactかつ効果的なアーキテクチャを実現する。
• 本手法は、実世界のペairedデータを一切使用せず、合成された雨が降った画像とクリーン画像のペアをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 出力残差に構造的事前知識を強制することで、学習分布外の雨パターンにおける一般化性能が、学習分布内にとどまらず向上するか？
• RQ2 マルチスケールで拡張された残差学習は、学習時に見られなかった多様な雨筋パターンをどのように捉えるか？
• RQ3 時間的モデリングなしに、動画ベースの雨除去手法と比較して、一括画像の雨除去モデルが実際の雨の動画に適用された際、どの程度優れた性能を示すか？
• RQ4 構造的残差学習は、標準的な残差ネットワークと比較して、背景のテクスチャーや細部の保持をどの程度向上させるか？
• RQ5 並列ブランチにおける重み共有は、モデルの複雑さと推論コストを低減しつつ、性能を維持できるか？

主な発見

• SRNetは、SPA-DataベンチマークでPSNR 35.31、SSIM 0.9448を達成し、定量的および定性的な両評価において、すべての競合最先端手法を上回る性能を示した。
• 時間情報が欠如している状況でも、SRNetは実際の雨の動画フレームに対して競争力ある雨除去性能を示し、木の幹やテクスチャなどの画像の詳細を保持する点で、多数の動画ベースの雨除去手法を上回った。
• マックスアンプーリングを備えたバージョン（B_d）は、他の多くのバージョンや競合手法を上回り、エンコーダ・デコーダ設計の有効性を裏付けた。
• 重み共有を導入したモデル（B_e）は、フルモデル（B_f）と同等の性能を達成しながら、顕著にパラメータ数を削減した。これにより、アーキテクチャの効率性が証明された。
• 可視化結果から、抽出された雨レイヤーとスパarsな特徴マップが、実際の雨筋パターンとよく一致していることが確認され、本手法の構造的インダクティブバイアスの有効性が検証された。
• 複雑な動きと低照度条件を伴う実世界の動画フレームにおいても、SRNetは雨筋を効果的に除去し、アーチファクトを最小限に抑えた。これは、モデルベースや深層学習ベースの動画雨除去手法が引き起こす歪みとは対照的である。