[論文レビュー] Attentive Generative Adversarial Network for Raindrop Removal from a Single Image

Rui Qian, Robby T. Tan+3 more|arXiv (Cornell University)|Nov 28, 2017

Image Enhancement Techniques参考文献 23被引用数 53

ひとこと要約

本論文は、 raindrop 領域とその周囲の領域に注意を集中させる注意付き GAN を提案し、単一画像から雨滴を除去し、従来法より優れた結果を達成します。

ABSTRACT

Raindrops adhered to a glass window or camera lens can severely hamper the visibility of a background scene and degrade an image considerably. In this paper, we address the problem by visually removing raindrops, and thus transforming a raindrop degraded image into a clean one. The problem is intractable, since first the regions occluded by raindrops are not given. Second, the information about the background scene of the occluded regions is completely lost for most part. To resolve the problem, we apply an attentive generative network using adversarial training. Our main idea is to inject visual attention into both the generative and discriminative networks. During the training, our visual attention learns about raindrop regions and their surroundings. Hence, by injecting this information, the generative network will pay more attention to the raindrop regions and the surrounding structures, and the discriminative network will be able to assess the local consistency of the restored regions. This injection of visual attention to both generative and discriminative networks is the main contribution of this paper. Our experiments show the effectiveness of our approach, which outperforms the state of the art methods quantitatively and qualitatively.

研究の動機と目的

• 単一の雨滴で劣化した画像から雨滴領域と背景が提供されていない状況での雨滴除去を動機づける。
• 生成器と識別器の両方に視覚的注意を注入する注意付き GAN を導入する。
• 雨滴注意を学習する注意付き再帰ネットワークと背景を復元するコンテキスト自動エンコーダを開発する。
• 復元品質を向上させるためにマルチスケールおよび知覚損失を利用する。
• 方法を最先端のアプローチと比較評価し、定量および定性的な改善を示す。

提案手法

• 注意付き再帰ネットワークが復元を導くアテンションマップを生成し、コンテキスト自動エンコーダが雨滴なしの画像を出力する2部構成のGANフレームワークを構築する。
• ResNet-5ブロックと畳み込みLSTMを用いた再帰ブロックでアテンションマップを0から1へ生成するよう、アテンションモジュールを学習させる。
• スキップ接続とマルチスケール損失関数を備えたコンテキスト自動エンコーダで入力画像と最終アテンションマップを融合する。
• デコーダ層でマルチスケール損失を適用し、異なるスケールで文脈情報を捉えるとともに、事前学習済みネットワークを用いた知覚損失を適用する。
• アテンションマップに導かれた局所的一貫性を復元に課すマップベース損失を通じて、注意付き識別器を組み込む。
• 訓練データを生成する雨滴形成モデル I = (1-M)⊙B + R を活用し、注意駆動損失 L_ATT を用いてアテンションマップを監督する。

実験結果

リサーチクエスチョン

• RQ1 単一の劣化画像から explicit な雨滴マスクなしで、注意付き GAN が雨滴領域と周囲構造を局在化することを学習できるか。
• RQ2 生成器と識別器の両方に学習済みのアテンションマップを注入することは、非注意 variant と比較して雨滴除去の品質を改善するか。
• RQ3 マルチスケールおよび知覚損失は雨滴なし再構成の忠実度を改善するか。
• RQ4 提案手法は標準指標で既存の単画像雨滴除去法とどのように比較されるか。

主な発見

Method	PSNR	SSIM
Eigen13 [1]	28.59	0.6726
Pix2Pix [10]	30.14	0.8299
A	29.25	0.7853
A+D	30.88	0.8670
A+AD	30.60	0.8710
AA+AD (Ours)	31.57	0.9023

• 提案された AA+AD アーキテクチャは Eigen13、Pix2Pix、およびアブレーション変種より高い PSNR と SSIM を達成する。
• AA+AD は PSNR 31.57 および SSIM 0.9023 を示し、すべてのベースラインを上回っている。
• アブレーション研究では、生成器または識別器のどちらにも注意がない場合のアーキテクチャは性能が低く、注意付き指導の必要性を裏付けている。
• 本手法は定性的にほとんどの雨滴を除去し、競合手法より構造的ディテールをより良く保持する。
• 定量的な利得は定性的な例と、視覚APIを適用した場合のオブジェクト認識スコアの改善によって補完される。