[論文レビュー] Unsupervised Single Image Deraining with Self-supervised Constraints

Xin Jin, Zhibo Chen+3 more|arXiv (Cornell University)|Nov 21, 2018

Image Enhancement Techniques参考文献 46被引用数 8

ひとこと要約

本論文は、ペaired学習データを必要とせず、非ペアの実際の雨の画像と綺麗な画像から自己教師付き制約を活用することで、教師あり手法の限界を克服する非教師付き単一画像除雨手法UD-GANを提案する。Rain Guidance Module (RGM)、Background Guidance Module (BGM)、および明度補正付き adversarial loss を導入することで、合成データおよび実世界のデータセットの両方で最先端の性能を達成した。

ABSTRACT

Most existing single image deraining methods require learning supervised models from a large set of paired synthetic training data, which limits their generality, scalability and practicality in real-world multimedia applications. Besides, due to lack of labeled-supervised constraints, directly applying existing unsupervised frameworks to the image deraining task will suffer from low-quality recovery. Therefore, we propose an Unsupervised Deraining Generative Adversarial Network (UD-GAN) to tackle above problems by introducing self-supervised constraints from the intrinsic statistics of unpaired rainy and clean images. Specifically, we firstly design two collaboratively optimized modules, namely Rain Guidance Module (RGM) and Background Guidance Module (BGM), to take full advantage of rainy image characteristics: The RGM is designed to discriminate real rainy images from fake rainy images which are created based on outputs of the generator with BGM. Simultaneously, the BGM exploits a hierarchical Gaussian-Blur gradient error to ensure background consistency between rainy input and de-rained output. Secondly, a novel luminance-adjusting adversarial loss is integrated into the clean image discriminator considering the built-in luminance difference between real clean images and derained images. Comprehensive experiment results on various benchmarking datasets and different training settings show that UD-GAN outperforms existing image deraining methods in both quantitative and qualitative comparisons.

研究の動機と目的

• 合成ペアデータで学習された教師あり除雨モデルの一般化およびスケーラビリティの問題を解決すること。
• 画像の内在的統計から得られる自己教師付き制約を導入することで、非教師学習における不十分な制約問題を克服すること。
• 雨のストライプのばらつきと背景の一貫性をモデル化することで、非教師除雨の品質を向上させること。
• 合成ペアデータに依存しない実世界のシナリオにおける実用的導入を可能にすること。
• 画像ノイズ除去やアクション認識を含む他の低レベルビジョンタスクへの一般化を示すこと。

提案手法

• 非ペアの実際の雨の画像と綺麗な画像を用いて学習するエンドツーエンドの非教師除雨 GAN（UD-GAN）を提案する。
• 雨の入力と除雨出力の差を制約する Rain Guidance Module (RGM) を導入し、現実的な雨の除去を保証する。
• 階層的なガウスブラー勾配誤差を用いた Background Guidance Module (BGM) を採用し、背景の一貫性を維持する。
• 綺麗な画像の discriminator に明度補正付き adversarial loss を組み込み、実際の綺麗な画像と除雨出力の間の明度差を是正する。
• 訓練中にスタイルや色のシフトを防ぐために、軽量な雨追加生成器を用いる。
• 非ペアデータの内在的統計から得られる自己教師付き信号を活用し、教師なしの監視なしに学習をガイドする。

実験結果

リサーチクエスチョン

• RQ1 非ペアの実際の雨の画像と綺麗な画像から得られる自己教師付き制約は、ペア学習データがなくても非教師除雨を効果的にガイドできるか？
• RQ2 異なるシーンで顕著な雨のストライプのばらつき（方向、形状、密度）をモデルはどのように処理できるか？
• RQ3 専用モジュールを用いることで、非教師除雨における背景の一貫性と明度のリアルさを向上させられるか？
• RQ4 提案手法は除雨を越えて他の低レベル画像修復タスクへ一般化できるか？
• RQ5 実世界および合成ベンチマークにおいて、定量的および定性的に教師ありおよび非教師ありベースラインと比較してどうか？

主な発見

• UD-GAN は Rain800、Rain12、Rain100L、Rain100H データセットで最先端の性能を達成し、それぞれのデータセットでベースラインを ablated した際の PSNR の向上は、Rain800 で 2.40 dB、Rain12 で 1.13 dB、Rain100L で 0.91 dB、Rain100H で 0.21 dB であった。
• ユーザー評価では、実世界評価で 120 回中 101 回の選択を獲得し、明瞭さと最小限のアーティファクトという観点で他の手法を顕著に上回った。
• 完全な UD-GAN モデルは、1枚の 512×512 画像あたり平均 0.25 秒の推論時間を達成し、他のリアルタイム手法と同等の性能を示した。
• アブレーションスタディにより、RGM や BGM、明度補正付き損失を削除すると顕著な性能低下が生じ、それぞれのモジュールの貢献が裏付けられた。
• UD-GAN は他のタスクへも良好に一般化する：BSD68 においてノイズレベル σ=15, 25, 50 の各条件下で SSIM スコアが 0.8822, 0.8198, 0.7088 を達成し、DnCNN の性能と同等またはそれを上回った。
• 定性的な結果から、RGM は残留雨ストライプを低減し、BGM はテクスチャの豊かさを向上させ、明度補正により視覚的な自然さが向上することが示された。