[論文レビュー] Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model

Yiyang Shen, Mingqiang Wei+3 more|arXiv (Cornell University)|Jan 23, 2023

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

RainDiffusion は、非拡散翻訳モデルを用いて対のデータを作成し、マルチスケールの拡散ブランチを通じて段階的に除雨を行う、実世界の画像除雨における拡散モデルベースの完全非教師付きフレームワークである。

ABSTRACT

Recent diffusion models have exhibited great potential in generative modeling tasks. Part of their success can be attributed to the ability of training stable on huge sets of paired synthetic data. However, adapting these models to real-world image deraining remains difficult for two aspects. First, collecting a large-scale paired real-world clean/rainy dataset is unavailable while regular conditional diffusion models heavily rely on paired data for training. Second, real-world rain usually reflects real-world scenarios with a variety of unknown rain degradation types, which poses a significant challenge for the generative modeling process. To meet these challenges, we propose RainDiff, the first real-world image deraining paradigm based on diffusion models, serving as a new standard bar for real-world image deraining. We address the first challenge by introducing a stable and non-adversarial unpaired cycle-consistent architecture that can be trained, end-to-end, with only unpaired data for supervision; and the second challenge by proposing a degradation-conditioned diffusion model that refines the desired output via a diffusive generative process conditioned by learned priors of multiple rain degradations. Extensive experiments confirm the superiority of our RainDiff over existing unpaired/semi-supervised methods and show its competitive advantages over several fully-supervised ones.

研究の動機と目的

• 拡散モデルを用いた対データなしで実世界の画像除雨を動機づける。
• 対となる清浄/雨画像が不足している問題に対し、サイクル整合性を持つ非拡散翻訳器で初期ペアを生成する。
• マルチスケールの拡散事前知識を活用して多様なマルチスケールの雨パターンをモデル化し、除雨品質を改善する。
• 対となる実世界雨データを用意せずとも、シ synthetic および実世界の雨データセットで最先端性能を示す、非敵対的学習パラダイムを実証する。

提案手法

• RainDiffusion を導入する：二つのブランチからなるフレームワーク、非拡散翻訳ブランチ（NTB）と拡散翻訳ブランチ（DTB）。
• NTB はサイクル整合性を持つ非拡散生成器を用いて、拡散訓練の初期清浄/雨の対を敵対的訓練なしで生成する。
• DTB はマルチスケール拡散モデルを用いて条件付き反転拡散を実行し、除雨と雨生成を行い、スケール認識アテンションを用いてマルチスケール情報を統合する。
• 条件付き反転拡散過程 p_theta(x_{0:T}|x_tilde) を採用して除雨を行い、サイクル整合性と拡散ベースのノイズ除去損失を含むハイブリッド損失で訓練する。
• DTB では、マルチスケールの画像ダウンサンプリングとスケール特異なノイズ推定器を導入し、アテンションベースの融合でスケール間の雨パターンを捉える。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは対データなしで実世界の雨画像の除去が可能か？
• RQ2 マルチスケールの雨パターンを拡散ベースの除雨に組み込むことで一般化を向上させられるか？
• RQ3 非教師付き・非敵対的学習パラダムは、実世界の除雨においてGANベースやその他の非教師付きアプローチより優れているか？
• RQ4 NTB が生成する対データと DTB のマルチスケール事前知識が最終的な除雨画像品質に与える影響は？

主な発見

• RainDiffusion はベンチマークデータセット上で、8つの非監視/半監視手法を凌駕し、7つの完全教師付き手法と競合する結果を示した。
• 実世界データ SPA-Data では、RainDiffusion が PSNR/SSIM で競合手法を上回り、無監督ベースラインよりも色彩と構造をより良く保持する。
• アブレーション実験により、全ての成分（NTB、DTB、サイクル損失、マルチスケール拡散）が最終的な改善に寄与することが示された。
• アテンションベースの融合を備えたマルチスケール拡散モデルは、単一スケール拡散のベースラインや他のマルチスケール融合手法よりも優れている。
• 暗黙的サンプリングは品質を損なうことなく拡散推論を加速する。
• RainDiffusion は、対データなしの訓練データで見られる未見の実世界の雨パターンへの強い一般化を示す。