[論文レビュー] Spatial Attentive Single-Image Deraining with a High Quality Real Rain Dataset

Tianyu Wang, Xin Yang+4 more|arXiv (Cornell University)|Apr 2, 2019

Image Enhancement Techniques参考文献 46被引用数 15

ひとこと要約

本論文では、時間的事前知識と人間の監視を組み合わせた半自動的手法を提案し、動画シーケンスから高品質なリアルな雨／綺麗な画像ペアを生成することで、約29.5Kペアの大型スケールデータセットを構築する。さらに、局所的からグローバルな特徴抽出を可能にする空間的アテンションネットワークSPANetを導入し、雨じめりを除去する。この手法は、実世界の除雨ベンチマークで最先端の性能を達成し、PSNR 38.06、SSIM 0.9867を記録した。

ABSTRACT

Removing rain streaks from a single image has been drawing considerable attention as rain streaks can severely degrade the image quality and affect the performance of existing outdoor vision tasks. While recent CNN-based derainers have reported promising performances, deraining remains an open problem for two reasons. First, existing synthesized rain datasets have only limited realism, in terms of modeling real rain characteristics such as rain shape, direction and intensity. Second, there are no public benchmarks for quantitative comparisons on real rain images, which makes the current evaluation less objective. The core challenge is that real world rain/clean image pairs cannot be captured at the same time. In this paper, we address the single image rain removal problem in two ways. First, we propose a semi-automatic method that incorporates temporal priors and human supervision to generate a high-quality clean image from each input sequence of real rain images. Using this method, we construct a large-scale dataset of $\sim$$29.5K$ rain/rain-free image pairs that covers a wide range of natural rain scenes. Second, to better cover the stochastic distribution of real rain streaks, we propose a novel SPatial Attentive Network (SPANet) to remove rain streaks in a local-to-global manner. Extensive experiments demonstrate that our network performs favorably against the state-of-the-art deraining methods.

研究の動機と目的

• 実際の雨の画像を用いた単一画像除雨のためのリアルで高品質な学習データの不足を解消するため、動画シーケンスから実際の雨／綺麗な画像ペアを生成すること。
• 雨の形状・方向・強度の変動を正しくモデル化できない合成データセットの限界を克服すること。
• 従来のベンチマークが合成データや定性的な比較に依存していることから、実際の雨の画像に対する除雨手法の定量的評価のためのベンチマークを提供すること。
• 1枚の画像内で多様で確率的な外観を示す実際の雨じめりに対応できる深層学習モデルを設計すること。
• 新しく構築した実際の雨の画像データセットで最先端のモデルを学習させることで、実世界の画像における除雨性能を向上させること。

提案手法

• 時間的事前知識（雨粒が同じピクセルに長期間留まらない）と人間の監視を組み合わせた半自動的手法により、実際の雨画像のシーケンスから綺麗な画像を再構築する。
• この手法は、フレーム間でのピクセル強度の変動を活用してクリアなピクセルを特定・再構築し、高解像度の雨／綺麗な画像ペアを形成する。
• 空間的アテンションモジュール（SAMs）を用いた新しいSPANetアーキテクチャは、雨じめりを水平および垂直の近隣特徴を用いてモデル化し、非局所的な文脈的情報を統合する。
• 多スケールで共有重みを持つ空間的アテンション機構を採用することで、局所的からグローバルな特徴抽出の観点から雨じめりの除去を強化する。
• アテンションマップの生成を明示的に監視するためのアテンション損失を用いてネットワークを学習させ、複雑な雨じめりパターンに対してもロバスト性を向上させる。
• 29.5Kの高解像度画像ペアを、多様な自然な雨のシーンから収集し、除雨モデルの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 時間的事前知識と人間の監視を組み合わせた半自動的手法は、実際の雨動画シーケンスから高品質な綺麗な画像を生成できるか？
• RQ2 大規模な実際の雨のデータセットで学習させた除雨モデルは、合成データセットと比較して、実世界の雨の画像において性能が向上するか？
• RQ3 階層的な局所的およびグローバルな文脈的特徴を学習することで、空間的アテンションネットワークは多様な雨じめりの外観を効果的にモデル化できるか？
• RQ4 アテンション損失と共有重みアテンションモジュールの導入は、除雨ネットワークのロバスト性と性能にどのように影響を与えるか？
• RQ5 提案されたデータセットは、実際の雨の画像に対する除雨手法の定量的評価のための信頼できるベンチマークとして機能できるか？

主な発見

• 提案されたSPNNetは、実際の雨テストセットでPSNR 38.06、SSIM 0.9867を達成し、最先端の手法を上回った。
• 既存の除雨モデルを提案された実際の雨データセットで学習させると、実世界の雨の画像における性能が顕著に向上した。これは、データセットが一般化性能を高める価値を持つことを示している。
• アブレーションスタディの結果、共有重み空間的アテンションモジュール（B_f）が最良の性能を示し、空間ブロック間の相関関係が特徴学習を強化していることが確認された。
• アテンション損失の監視が不可欠であることが判明した。損失を除去した場合（B_e）、PSNRは38.06から37.39に低下し、アテンションマップの最適化に寄与していることが示された。
• 図12の失敗事例では、極めて密集したはだかのようないびつな雨じめりはうまく処理できず、曇りの状態では現在のデータセット生成手法の限界が顕在化した。
• 提案されたデータセットは、従来の定性的な比較や合成ベンチマークに依存していた手法に比べ、より信頼性の高い定量的評価を可能にした。