[論文レビュー] DerainCycleGAN: Rain Attentive CycleGAN for Single Image Deraining and Rainmaking

Yanyan Wei, Zhao Zhang+5 more|arXiv (Cornell University)|Dec 15, 2019

Image Enhancement Techniques参考文献 37被引用数 23

ひとこと要約

本稿では、非ペairedな雨の付いた画像と雨のない画像を用いた教師なし単一画像の雨取り除き手法としてDerainCycleGANを提案する。雨に敏感なアテンションメカニズムと制約付きサイクル整合性フレームワークを導入し、雨のストリークを同時に抽出して綺麗な画像を再構築する。合成データおよび実世界の雨取り除きベンチマークにおいて最先端の性能を達成するとともに、高品質なペアドデータセットRain200Aを新たに生成した。

ABSTRACT

Single image deraining (SID) is an important and challenging topic in emerging vision applications, and most of emerged deraining methods are supervised relying on the ground truth (i.e., paired images) in recent years. However, in practice it is rather common to have no un-paired images in real deraining task, in such cases how to remove the rain streaks in an unsupervised way will be a very challenging task due to lack of constraints between images and hence suffering from low-quality recovery results. In this paper, we explore the unsupervised SID task using unpaired data and propose a novel net called Attention-guided Deraining by Constrained CycleGAN (or shortly, DerainCycleGAN), which can fully utilize the constrained transfer learning abilitiy and circulatory structure of CycleGAN. Specifically, we design an unsu-pervised attention guided rain streak extractor (U-ARSE) that utilizes a memory to extract the rain streak masks with two constrained cycle-consistency branches jointly by paying attention to both the rainy and rain-free image domains. As a by-product, we also contribute a new paired rain image dataset called Rain200A, which is constructed by our network automatically. Compared with existing synthesis datasets, the rainy streaks in Rain200A contains more obvious and diverse shapes and directions. As a result, existing supervised methods trained on Rain200A can perform much better for processing real rainy images. Extensive experiments on synthesis and real datasets show that our net is superior to existing unsupervised deraining networks, and is also very competitive to other related supervised networks.

研究の動機と目的

• ペアドトレーニングデータ（雨のついた画像とそれに対応する雨のない画像）が入手できない実世界のシナリオにおける単一画像の雨取り除きの課題に対処すること。
• ペアド監視なしで、非ペアデータを活用して綺麗な画像を再構築できる教師なし雨取り除きフレームワークの開発。
• トレーニングデータセットにおける合成雨のストリークの品質と多様性を向上させ、実世界の雨の画像へより良い汎化を実現すること。
• 統一された生成的フレームワーク内で、雨取り除きと雨の生成の双方向画像変換を可能にすること。
• 本稿で提示されたRain200Aデータセットでトレーニングされた教師なしモデルが、実世界のテストセットにおいて既存の教師ありベースラインを上回ることを示すこと。

提案手法

• 雨のストリークの特徴表現を強化するため、アテンション誘導型残差ブロックを組み込んだCycleGANに基づく新規アーキテクチャ、DerainCycleGANを提案する。
• メモリモジュールを用いて、雨のついた画像ドメインおよび綺麗な画像ドメインの両方から雨のパターンを学習・抽出する、教師なしアテンション誘導型雨のストリーク抽出器（U-ARSE）を導入する。
• 雨のついた画像から綺麗な画像への変換と、綺麗な画像から雨のついた画像への変換の2本のブランチを用いたサイクル整合性損失を強制し、構造的一致性を確保する。
• 入力ドメインの両方において、雨の付く可能性の高い領域に動的に注目するアテンション機構を適用し、ストリークの局在化と除去を改善する。
• ペアド監視を一切不要として、非ペアの雨のついた画像と雨のない画像のみを用いて、モデルをエンドツーエンドでトレーニングする。
• トレーニング済みのモデルを活用して、多様で現実的な雨のストリークパターンを有する新しいペアドデータセットRain200Aを自動で合成する。

実験結果

リサーチクエスチョン

• RQ1 教師なしディープラーニングモデルは、ペアドトレーニングデータが存在しない状況でも、単一画像の雨取り除きを効果的に行えるか？
• RQ2 アテンション機構は、非ペア画像変換において、雨のストリークの局在化と除去をどのように改善できるか？
• RQ3 合成雨のストリークの品質と多様性が、実世界の画像へのモデルの汎化性能に及ぼす影響はどの程度か？
• RQ4 1つのモデルが、サイクル整合性フレームワーク内で雨取り除きと雨の生成の両方のタスクを効果的に実行できるか？
• RQ5 新しく合成されたデータセット（Rain200A）でトレーニングすることで、既存のデータセットと比較して実世界の雨の画像に対する性能が向上するか？

主な発見

• DerainCycleGANは、教師なし設定下で、合成データ（Rain200H, Rain100H, Rain100L）および実世界データ（Real-100）の両方の雨取り除きベンチマークで最先端の性能を達成した。
• 既存の教師なし雨取り除きネットワークと比較して顕著な性能向上を示し、Rain100Hでは最大0.8 dB、Rain100Lでは最大0.6 dBのPSNR向上を達成した。
• 新しく導入されたRain200Aデータセットでトレーニングされたモデルは、実世界の雨の画像において優れた性能を発揮し、データセットの品質がモデルの汎化性能に直接影響することを示した。
• アテンション誘導型U-ARSEモジュールは、複雑な雨のストリークパターンを効果的に捉え、再構築の忠実性を向上させ、アーチファクトを低減した。
• 双方向トレーニング（雨取り除きと雨の生成）により、雨とシーンコンテンツの分離表現を学習でき、モデルのロバスト性が向上した。
• 定量的・定性的な分析により、合成されたRain200Aデータセットは、既存のデータセットと比較してより多様で現実的な雨のストリークを有していることが検証された。