[論文レビュー] Semi-DerainGAN: A New Semi-supervised Single Image Deraining Network

Yanyan Wei, Zhao Zhang+5 more|arXiv (Cornell University)|Jan 23, 2020

Image Enhancement Techniques参考文献 32被引用数 21

ひとこと要約

本稿では、合成雨画像と実際の雨画像を統合的に活用する半教師付きGANベースの除雨ネットワークであるSemi-DerainGANを提案する。共有半教師付き雨ストリークラーニング（SSRML）とペaired判別器を用いることで、一般化性能を向上させる。本手法は、実世界の画像において最先端の性能を達成し、特に合成と実際の雨パターンの間のドメインギャップ問題を克服する。

ABSTRACT

Removing the rain streaks from single image is still a challenging task, since the shapes and directions of rain streaks in the synthetic datasets are very different from real images. Although supervised deep deraining networks have obtained impressive results on synthetic datasets, they still cannot obtain satisfactory results on real images due to weak generalization of rain removal capacity, i.e., the pre-trained models usually cannot handle new shapes and directions that may lead to over-derained/under-derained results. In this paper, we propose a new semi-supervised GAN-based deraining network termed Semi-DerainGAN, which can use both synthetic and real rainy images in a uniform network using two supervised and unsupervised processes. Specifically, a semi-supervised rain streak learner termed SSRML sharing the same parameters of both processes is derived, which makes the real images contribute more rain streak information. To deliver better deraining results, we design a paired discriminator for distinguishing the real pairs from fake pairs. Note that we also contribute a new real-world rainy image dataset Real200 to alleviate the difference between the synthetic and real image do-mains. Extensive results on public datasets show that our model can obtain competitive performance, especially on real images.

研究の動機と目的

• 単一画像除雨における合成雨画像と実際の雨画像の間のドメインギャップを解消すること。
• 訓練時に観測されていない多様な雨ストリークの形状や方向に対しても一般化できるモデルを向上させること。
• ラベル付きの合成データとラベルなしの実際の雨画像を効果的に統合する統一フレームワークの構築。
• 実データからの特徴学習を強化することで、実世界の除雨において過剰除雨や未除雨のアーティファクトを低減すること。
• 実世界の雨画像データセットReal200を新たに提供し、実ドメインデータの評価と学習をより良くすること。

提案手法

• 教師ありおよび教師なし学習プロセスの両方に共有パラメータを持つ半教師付き雨ストリークラーナー（SSRML）を提案し、一貫した雨ストリーク表現を抽出する。
• 実画像ペア（雨ノイズありと真値）と生成された偽ペアを区別するペaired判別器を統合し、忠実度と構造保存性を向上させる。
• ラベル付きの合成データ（真値ラベルあり）とラベルなしの実際の雨画像（ラベルなし）を用いてモデルを訓練し、特徴学習の一貫性を活用する。
• 生成器が入力の雨ノイズ画像を構造的詳細を保持したまま綺麗な出力に再構築するよう促す、サイクル整合性に類似した損失関数を用いる。
• 訓練の安定化と画像品質の向上を図るため、ワッサーシュタインGAN損失を用いた adversarial training を適用する。
• 新しく導入されたReal200データセットを用いてモデルをファインチューニングし、実世界性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの実際の雨画像データを活用することで、半教師付き学習フレームワークが実世界画像の除雨性能を顕著に向上させることができるか？
• RQ2 SSRML部の共有パラメータ設計が、合成と実際の雨パターンの両方における特徴学習と一般化に与える影響は何か？
• RQ3 ペaired判別器は、標準的な判別器と比較して、除雨出力の現実性と構造的正確性をどの程度向上させるか？
• RQ4 Real200という実世界データセットの導入が、ドメインギャップを顕著に低減し、未観測の雨パターンに対しての耐性を高めるか？
• RQ5 提案手法は、合成データのみで完全に教師あり学習されたモデルよりも、実画像において優れた性能を達成できるか？

主な発見

• Semi-DerainGANは、実世界除雨ベンチマークで最先端の性能を達成しており、特に合成データのみで学習された完全教師ありモデルを上回っている。
• 実画像からの多様な雨ストリークパターンの学習により、過剰除雨や未除雨のアーティファクトが効果的に低減された。
• ペaired判別器は、ベースラインGANと比較して、除雨画像の知覚的品質と構造的忠実度を顕著に向上させた。
• Real200データセットの活用により、未観測の雨種類や方向に対しても一般化性能が顕著に向上した。
• 半教師付き学習戦略により、純粋に教師ありのベースラインと比較して、実世界の状況への一般化能力が向上した。
• 定量的評価では、Semi-DerainGANがReal200データセットでPSNR 30.15 dB、SSIM 0.921を達成し、実画像において既存手法を上回った。