[論文レビュー] Image De-raining Using a Conditional Generative Adversarial Network

He Zhang, Vishwanath A. Sindagi+1 more|arXiv (Cornell University)|Jan 21, 2017

Image Enhancement Techniques参考文献 80被引用数 249

ひとこと要約

本論文はID-CGANを紹介します。密に接続されたジェネレーターとマルチスケールのディスクリミネータを備えた条件付きGANで、単一画像の雨除去を行い、視覚的/定量的な結果が優れており、下流の物体検出を改善します。

ABSTRACT

Severe weather conditions such as rain and snow adversely affect the visual quality of images captured under such conditions thus rendering them useless for further usage and sharing. In addition, such degraded images drastically affect performance of vision systems. Hence, it is important to solve the problem of single image de-raining/de-snowing. However, this is a difficult problem to solve due to its inherent ill-posed nature. Existing approaches attempt to introduce prior information to convert it into a well-posed problem. In this paper, we investigate a new point of view in addressing the single image de-raining problem. Instead of focusing only on deciding what is a good prior or a good framework to achieve good quantitative and qualitative performance, we also ensure that the de-rained image itself does not degrade the performance of a given computer vision algorithm such as detection and classification. In other words, the de-rained result should be indistinguishable from its corresponding clear image to a given discriminator. This criterion can be directly incorporated into the optimization framework by using the recently introduced conditional generative adversarial networks (GANs). To minimize artifacts introduced by GANs and ensure better visual quality, a new refined loss function is introduced. Based on this, we propose a novel single image de-raining method called Image De-raining Conditional General Adversarial Network (ID-CGAN), which considers quantitative, visual and also discriminative performance into the objective function. Experiments evaluated on synthetic images and real images show that the proposed method outperforms many recent state-of-the-art single image de-raining methods in terms of quantitative and visual performance.

研究の動機と目的

• 降雨による画像劣化の問題と視覚システムへの影響を動機づける。
• 最適化に識別的および知覚的基準を組み込むことによって単一画像の雨除去の ill-posed な性質を解決する。
• ポスト処理なしで雨除去に特化したCGANベースのフレームワーク(ID-CGAN)を提案する。
• 雨除去中のグローバルおよび局所の文脈を捉えるために密結合ジェネレーターとマルチスケールディスクリミネータを設計する。
• 合成データと実世界データセットでの有効性を示し、物体検出結果を改善することを示す。

提案手法

• 条件付きGANを用いて rainy image x から de-rained image y へ、x を条件としてマッピングを学習する。
• 雨除去中にディテールを保持するためのスキップ接続を備えた密結合ゲネレータを導入する。
• ローカルおよびグローバル情報の両方を活用して実画像/偽画像識別を行うマルチスケールディスクリミネータを採用する。
• 画素レベルの損失 L_E、敵対的損失 L_A、知覚的損失 L_P を組み合わせ、調整された重みを持つ refined perceptual loss L_RP を定義する。
• ユークリッド、知覚、敵対的損失を組み合わせて訓練をガイドし、 GAN由来のアーチファクトを低減する（L_RP = L_E + lambda_a L_A + lambda_p L_P）。
• synthetic and real rain datasetsで訓練; PSNR, SSIM, UQI, VIFを用いて評価し、Faster-RCNNで下流の物体検出性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANフレームワークは単一画像から雨ストリークをクリーンな背景に効果的に分離できるか？
• RQ2 密結合ジェネレータとマルチスケールディスクリミネータはベースラインより雨除去品質を改善するか？
• RQ3 refined perceptual loss を組み込むことでアーティファクトを減らし、視覚的および定量的指標の両方を改善するか？
• RQ4 提案手法は雨劃害画像での物体検出など下流タスクに有益か？

主な発見

• ID-CGANはsyntheticデータ上で視覚的品質と定量的指標においていくつかの最先端の単一画像雨除去法を上回る。
• マルチスケールディスクリミネータは単一スケールディスクリミネータが見逃す細かな質感を回復するのに役立つ。
• refined perceptual loss はアーティファクトを減らし、ピクセル損失や敵対的損失のみを用いる場合と比較してシャープさとディテールの保持を改善する。
• ID-CGANは雨に劣化した画像での物体検出パイプライン（例：Faster-RCNN）における検出性能を向上させる。
• アブレーション研究は、Euclidean、知覚、敵対的損失の組み合わせとマルチスケールディスクリミネータが、評価された設定の中で最良の結果をもたらすことを示している。