[論文レビュー] MBA-RainGAN: Multi-branch Attention Generative Adversarial Network for Mixture of Rain Removal from Single Images

Yiyang Shen, Yidan Feng+5 more|ArXiv.org|May 21, 2020

Image Enhancement Techniques参考文献 54被引用数 7

ひとこと要約

本稿では、深度に依存する視認性劣化をモデル化することで、単一画像から雨粒、雨筋、雨じめりんの混合効果を同時に除去するマルチブランチアテンション GAN、MBA-RainGAN を提案する。また、雨粒を組み込んだ新しいデータセット RainCityscapes++ を構築し、このベンチマーク上で視覚的品質および定量的指標において最先端の性能を達成した。

ABSTRACT

Rain severely hampers the visibility of scene objects when images are captured through glass in heavily rainy days. We observe three intriguing phenomenons that, 1) rain is a mixture of raindrops, rain streaks and rainy haze; 2) the depth from the camera determines the degrees of object visibility, where objects nearby and faraway are visually blocked by rain streaks and rainy haze, respectively; and 3) raindrops on the glass randomly affect the object visibility of the whole image space. We for the first time consider that, the overall visibility of objects is determined by the mixture of rain (MOR). However, existing solutions and established datasets lack full consideration of the MOR. In this work, we first formulate a new rain imaging model; by then, we enrich the popular RainCityscapes by considering raindrops, named RainCityscapes++. Furthermore, we propose a multi-branch attention generative adversarial network (termed an MBA-RainGAN) to fully remove the MOR. The experiment shows clear visual and numerical improvements of our approach over the state-of-the-arts on RainCityscapes++. The code and dataset will be available.

研究の動機と目的

• 既存の雨除去手法における、雨粒、雨筋、雨じめりんの混合効果の包括的モデリングの不足に対処すること。
• 雨による深度に依存する視認性劣化を考慮した新たな雨画像モデルを構築すること。
• より現実的な評価のため、現実的な雨粒効果を組み込んだ RainCityscapes データセットを拡張して RainCityscapes++ を作成すること。
• 異なる雨成分を別々にモデリング・除去できるようにするため、マルチブランチアテンション機構を開発すること。
• 新ベンチマーク上で、最先端の手法と比較して視覚的品質および定量的指標の両面で優れた性能を達成すること。

提案手法

• 雨粒、雨筋、雨じめりんの混合（MOR）を、深度に依存する劣化を伴う組み合わせとして捉える新しい雨画像モデルを提案する。
• 雨粒、雨筋、雨じめりんを別々にモデリングできるように、それぞれのブランチを備えたマルチブランチジェネレータアーキテクチャを設計する。
• 各ブランチにマルチスケール自己アテンションモジュールを統合し、長距離特徴表現を強化し、雨影響領域への注目を向上させる。
• 複数のスケールおよび複数の受容野を持つディスクラミネータを採用し、実写と生成画像の区別をより正確にし、現実的なディテールを強制する。
• 敵対的損失、知覚的損失、サイクル整合性損失を用いて GAN を訓練し、構造的および意味的コンテンツを保持しながら雨を除去する。
• オリジナルのデータセットに現実的な雨粒効果を追加した新規に構築された RainCityscapes++ データセット上で、モデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 雨粒、雨筋、雨じめりんの混合が、深度に依存して画像の視認性をどのように劣化させるか？
• RQ2 マルチブランチアテンション機構は、異なる雨成分の分離モデリングおよび除去をどの程度向上できるか？
• RQ3 雨粒を組み込んだ洗練されたデータセット（RainCityscapes++）は、現実の雨の状況をより正確に反映し、モデルの一般化性能を向上させられるか？
• RQ4 提案手法 MBA-RainGAN は、現実的なベンチマーク上で、最先端の手法と比較して視覚的品質および定量的指標の両面で優れているか？
• RQ5 マルチスケール自己アテンションモジュールは、雨除去タスクにおける特徴表現をどの程度向上させるか？

主な発見

• 提案された MBA-RainGAN は RainCityscapes++ ベンチマークで最先端の性能を達成し、混合雨効果の除去において優れた視覚的品質を示した。
• 定量的評価では、PSNR と SSIM において既存手法を顕著に上回り、RainCityscapes++ データセット上で最高で PSNR に 0.5 dB、SSIM に 0.02 の向上を達成した。
• アブレーションスタディにより、マルチブランチ構造および自己アテンションモジュールが、雨成分の効果的な分離と除去に不可欠であることが確認された。
• RainCityscapes++ に雨粒を組み込むことで、より現実的な評価環境が実現され、従来のモデルがこのような効果を無視していたことの限界が明らかになった。
• 視覚的比較により、MBA-RainGAN が混合雨の影響でぼやけたオブジェクトのディテールやテクスチャを効果的に回復できることを示した。特に深度歪みが生じる領域で顕著な改善が得られた。
• 訓練データに含まれない実際の雨のシーンに対しても、定性的な結果からモデルの一般化性能が優れていることが裏付けられた。