[論文レビュー] SAPNet: Segmentation-Aware Progressive Network for Perceptual Contrastive Deraining

Shen Zheng, Changjie Lu+2 more|arXiv (Cornell University)|Nov 16, 2021

Image Enhancement Techniques被引用数 4

ひとこと要約

SAPNetは、単一画像の雨除去のためのセグメンテーションに配慮したプログレッシブネットワークを提案する。本手法は、マルチスケールの雨筋モデリングに適した軽量なプログレッシブ拡張ユニット（PDU）、セマンティックな詳細を保持するための教師なしバックグラウンドセグメンテーション（UBS）、および学習されたペルセプチュアル類似度を用いたペルセプチュアルコントラスト型損失（PCL）を組み合わせる。PCLは雨の画像をネガティブサンプル、正例としての真値をポジティブサンプルとして扱い、VGG-16の特徴空間で、除去された出力を真値とペルセプチュアルに一致させるように促進する。本手法は、合成および実世界の雨の画像に対する最先端の性能を達成し、物体検出およびセマンティックセグメンテーションの精度を顕著に向上させる。

ABSTRACT

Deep learning algorithms have recently achieved promising deraining performances on both the natural and synthetic rainy datasets. As an essential low-level pre-processing stage, a deraining network should clear the rain streaks and preserve the fine semantic details. However, most existing methods only consider low-level image restoration. That limits their performances at high-level tasks requiring precise semantic information. To address this issue, in this paper, we present a segmentation-aware progressive network (SAPNet) based upon contrastive learning for single image deraining. We start our method with a lightweight derain network formed with progressive dilated units (PDU). The PDU can significantly expand the receptive field and characterize multi-scale rain streaks without the heavy computation on multi-scale images. A fundamental aspect of this work is an unsupervised background segmentation (UBS) network initialized with ImageNet and Gaussian weights. The UBS can faithfully preserve an image's semantic information and improve the generalization ability to unseen photos. Furthermore, we introduce a perceptual contrastive loss (PCL) and a learned perceptual image similarity loss (LPISL) to regulate model learning. By exploiting the rainy image and groundtruth as the negative and the positive sample in the VGG-16 latent space, we bridge the fine semantic details between the derained image and the groundtruth in a fully constrained manner. Comprehensive experiments on synthetic and real-world rainy images show our model surpasses top-performing methods and aids object detection and semantic segmentation with considerable efficacy. A Pytorch Implementation is available at https://github.com/ShenZheng2000/SAPNet-for-image-deraining.

研究の動機と目的

• 画像復元の低レベルタスクと高レベルビジョンタスクのギャップを埋めるために、セマンティックの保存を向上させる雨除去モデルの改善。
• 従来の雨除去手法がPSNRやSSIMなどの画像品質指標にのみ注力しており、物体検出やセグメンテーションなどの下流タスクに恩恵をもたらさないという限界を克服する。
• セグメンテーションラベルを必要とせず、バックグラウンドセグメンテーションを教師なしで行うことで、アノテーションコストの高いデータに依存することを低減する。
• 複雑な照明条件や密集した雨筋を有する実世界の雨の画像への一般化を向上させるために、マルチスケールの文脈モデリングとコントラスト学習を活用する。
• 自動運転などのモバイルおよびリアルタイムアプリケーションに適した低遅延推論を実現しながら、高い性能を維持する。

提案手法

• PDU（プログレッシブ拡張ユニット）を提案する。このユニットは、パラメータ効率的かつプログレッシブに膨張畳み込みを用いて受容 field を拡大し、計算負荷を抑えつつマルチスケールの雨筋を効果的に捉える。
• ImageNetおよびガウス分布の重みで初期化された教師なしバックグラウンドセグメンテーション（UBS）ネットワークを導入し、セグメンテーションアノテーションを必要とせず、雨除去中にセマンティックな詳細を保持する。
• ペルセプチュアルコントラスト型損失（PCL）を設計する。この損失は、VGG-16の特徴空間において、雨の画像をネガティブサンプル、真値をポジティブサンプルとして扱い、除去された出力がペルセプチュアル空間で真値と一致するように促進する。
• PCLと学習されたペルセプチュアル画像類似度損失（LPISL）を組み合わせ、ピクセル単位の忠実性とペルセプチュアルなリアリズムの両方を最適化する。
• 雨除去ネットワーク、UBSネットワーク、VGG-16バックボーンを統合した統一フレームワークを構築し、コントラスト学習とペルセプチュアルな監視によって特徴をアライメントする。
• 雨除去タスクの教師あり損失に加え、PCLとLPISLによるペルセプチュアルな正則化を追加し、エンド・ツー・エンドでモデルを訓練する。

Figure 2: User study score $\uparrow$ and inference time $\downarrow$ comparison. The user study score (1-5) is averaged from real-rainy datasets including Rain800, SIRR and MOSS. The average run time (inference time) is calculated on images with size 512 $\times$ 512 with a single NVIDIA RTX 2080 T

実験結果

リサーチクエスチョン

• RQ1 教師なしバックグラウンドセグメンテーションは、セグメンテーションラベルを必要とせず、雨除去におけるセマンティックの保存を向上させることができるか？
• RQ2 ペルセプチュアルコントラスト学習は、標準的なピクセル単位の損失を超えて、除去された画像の品質をどの程度向上させるか？
• RQ3 プログレッシブ拡張ユニット（PDU）は、標準的またはマルチスケール入力アプローチと比較して、マルチスケールの雨筋モデリングをどのように改善するか？
• RQ4 ペルセプチュアル類似度とコントラストアライメントを最適化した雨除去モデルは、物体検出やセマンティックセグメンテーションなどの下流タスクにおいて、測定可能な改善をもたらすか？
• RQ5 提案手法は、合成および実世界の雨のデータセットの両方で最先端の性能を達成できるか？また、推論時間とモデルサイズを低く保てるか？

主な発見

• Rain100Hベンチマークでは、SAPNetが最高のPSNR（29.45）とSSIM（0.903）を達成し、すべての先行最先端手法を上回った。
• 実世界のSIRRデータセットでは、SAPNetが最良のBRISQUEスコア（17.54）を記録し、画像品質が高く歪みが少ないことを示した。
• MOSSデータセットでは、SAPNetが最良のUNIQUEスコア（1.05）を達成し、多様な天候や照明条件の実世界の雨の画像への強い一般化能力を示した。
• COCO150における物体検出では、SAPNetによりYOLOv3が、DDN、Syn2Real、EffDerainなどの競合モデルが見逃していた交通標識や他の小物を検出可能になった。
• CityScape150におけるセマンティックセグメンテーションでは、SAPNetが最も正確なセグメンテーションマップを生成し、真値に密接に一致した。一方、DDN や RESCAN は、左側の車両全体を検出できなかった。
• アブレーションスタディの結果、ペルセプチュアルコントラスト型損失（PCL）が性能を顕著に向上させる一方、L1コントラスト型損失は性能を低下させることが判明し、ペルセプチュアルレベルのアライメントの必要性が裏付けられた。

Figure 3: Model architecture for SAPNet. SAPNet joins a derain network for supervised rain removal, a segmentation network for unsupervised background segmentation, and a VGG-16 network for perceptual contrast. The rainy image first enters the derain network for rain removal, using the groundtruth a