[論文レビュー] Unpaired Deep Image Deraining Using Dual Contrastive Learning

Xiang Chen, Jinshan Pan+6 more|arXiv (Cornell University)|Sep 7, 2021

Image Enhancement Techniques被引用数 15

ひとこと要約

本稿では、ペairedデータを用いないまま雨除去性能を向上させるために、深層特徴空間における二重対照学習を活用する、新しい非ペア型ディープイメージレインニングフレームワークであるDCD-GANを提案する。双方向変換ブランチ（BTB）による敵対的エグジンプレ生成と、類似特徴を近づけ、不一致な特徴を分離する対照ガイドブランチ（CGB）を組み合わせることで、合成データおよび実世界データの両方で最先端の性能を達成し、既存の非ペア手法を上回り、完全に教師ありモデルに近い性能を示す。

ABSTRACT

Learning single image deraining (SID) networks from an unpaired set of clean and rainy images is practical and valuable as acquiring paired real-world data is almost infeasible. However, without the paired data as the supervision, learning a SID network is challenging. Moreover, simply using existing unpaired learning methods (e.g., unpaired adversarial learning and cycle-consistency constraints) in the SID task is insufficient to learn the underlying relationship from rainy inputs to clean outputs as there exists significant domain gap between the rainy and clean images. In this paper, we develop an effective unpaired SID adversarial framework which explores mutual properties of the unpaired exemplars by a dual contrastive learning manner in a deep feature space, named as DCD-GAN. The proposed method mainly consists of two cooperative branches: Bidirectional Translation Branch (BTB) and Contrastive Guidance Branch (CGB). Specifically, BTB exploits full advantage of the circulatory architecture of adversarial consistency to generate abundant exemplar pairs and excavates latent feature distributions between two domains by equipping it with bidirectional mapping. Simultaneously, CGB implicitly constrains the embeddings of different exemplars in the deep feature space by encouraging the similar feature distributions closer while pushing the dissimilar further away, in order to better facilitate rain removal and help image restoration. Extensive experiments demonstrate that our method performs favorably against existing unpaired deraining approaches on both synthetic and real-world datasets, and generates comparable results against several fully-supervised or semi-supervised models.

研究の動機と目的

• 実世界の雨の付いた画像と綺麗な画像のペアデータが存在しない状況における、単一画像レインニング（SID）の課題に対処すること。
• 深層特徴空間における相互特徴関係を学習することで、雨の画像分布と綺麗な画像分布の間のドメインギャップを低減すること。
• 非ペアの綺麗な画像を特徴ガイドのソースとして活用することで、レインニング性能を向上させること。
• 物体検出などの下流ビジョンタスクにおける、クロスドメイン一般化性と実用性を向上させること。

提案手法

• サイクル整合性に基づく翻訳により多様なエグジンプレペアを生成する、二重ブランチ敵対的フレームワーク（双方向変換ブランチ：BTB）を導入する。
• 対照学習を用いて、深層特徴空間内での類似特徴分布（例：対応するパッチ）を近づけ、不一致な特徴を遠ざける対照ガイドブランチ（CGB）を採用する。
• ペアラベルなしでも、雨の画像と綺麗な画像の特徴間の相互情報量を高めるために、二重対照学習戦略を採用する。
• 実世界の雨の画像を混合学習データに組み込み、ネガティブサンプルを豊かにし、モデルのロバスト性を向上させる。
• 訓練の安定化と特徴の分離性向上を図るために、敵対的整合性と対照正則化を併用する。
• 局所的なパッチレベル特徴をドメイン間で整列させるマルチスケール対照損失を適用し、詳細な復元性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ペアラベルなしの雨の画像と綺麗な画像の間のドメインギャップを、深層特徴空間における対照学習によって効果的に埋め合わせることができるか？
• RQ2 ペアラベルなしで、非ペアの綺麗な画像を効果的にガイドとして活用してレインニングを実現できるか？
• RQ3 標準的なサイクル整合性または敵対的手法と比較して、二重対照学習は非ペアレインニングにおけるクロスドメイン一般化性を向上させるか？
• RQ4 ペアデータが欠如しているにもかかわらず、提案手法が完全に教師ありモデルと同等の性能を達成できるか？

主な発見

• DCD-GANは、ペアデータを一切使用せずに、合成データ（例：Rain100L、Rain100B）および実世界データ（例：Test100、Test1200）の両方のレインニングベンチマークで最先端の性能を達成した。
• 定性的な比較とPSNRやSSIMといった定量的指標の観点から、CycleGAN や DCLGAN と比較して、雨のストリークを顕著に低減し、画像の詳細をよりよく保持していることが示された。
• 実世界のTest100データセットでは、DCD-GANはPSNR 29.41 dB、SSIM 0.872を達成し、既存の非ペア手法を上回った。
• Google Vision APIを用いた評価から、レインニング後の画像では物体検出の認識信頼度スコアが上昇しており、下流タスクにおける性能向上が裏付けられた。
• DCD-GANの出力では、雨の検出に関する平均信頼度が顕著に低下しており、効果的な雨の除去が確認された。
• DCD-GANは強力なクロスドメイン一般化性を示し、微調整なしに未学習の実世界データセットでも高い性能を維持した。