[論文レビュー] Residual-Guide Feature Fusion Network for Single Image Deraining

Zhiwen Fan, Huafeng Wu+3 more|arXiv (Cornell University)|Apr 20, 2018

Image Enhancement Techniques参考文献 28被引用数 37

ひとこと要約

本稿では、単一画像のレイン除去を目的とした、段階的な残差ガイド付き特徴統合ネットワーク「ResGuideNet」を提案する。浅いブロックからの残差を深いブロックの予測をガイドすることで、雨じまの除去を段階的に精緻化する。再帰的畳み込み、マルチスケール監視、特徴アンサンブル学習を用いることで、わずか37Kパラメータで最先端の性能を達成し、さまざまな雨状況や計算制約下でも効率的な展開が可能である。

ABSTRACT

Single image rain streaks removal is extremely important since rainy images adversely affect many computer vision systems. Deep learning based methods have found great success in image deraining tasks. In this paper, we propose a novel residual-guide feature fusion network, called ResGuideNet, for single image deraining that progressively predicts highquality reconstruction. Specifically, we propose a cascaded network and adopt residuals generated from shallower blocks to guide deeper blocks. By using this strategy, we can obtain a coarse to fine estimation of negative residual as the blocks go deeper. The outputs of different blocks are merged into the final reconstruction. We adopt recursive convolution to build each block and apply supervision to all intermediate results, which enable our model to achieve promising performance on synthetic and real-world data while using fewer parameters than previous required. ResGuideNet is detachable to meet different rainy conditions. For images with light rain streaks and limited computational resource at test time, we can obtain a decent performance even with several building blocks. Experiments validate that ResGuideNet can benefit other low- and high-level vision tasks.

研究の動機と目的

• 雨じまが画像品質を低下させ、その後続のコンピュータビジョンタスクに悪影響を及げるという単一画像レイン除去の課題に対処すること。
• 大規模なパラメータを必要とし、さまざまな雨状況での一般化に苦労する既存のディーブラーニングモデルの限界を克服すること。
• 粗くから細かくまでレインじま除去を推定できる、軽量でモジュラーなネットワークアーキテクチャを設計し、最小限のパラメータで高い性能を維持すること。
• モデルの分離を可能にすることで、軽度の雨やリソース制約のある環境でも実用的な展開を可能にすること。
• 提案アーキテクチャが、画像ノイズ除去などの他の低レベルビジョンタスクへ一般化できること、およびオブジェクト検出などの高レベルタスクで性能向上を示すことを示すこと。

提案手法

• 各ブロックが残差を予測し、浅いブロックからの残差を深いブロックの予測をガイドするように、段階的なネットワークアーキテクチャを提案する。
• 各ブロック内で再帰的畳み込みを採用することで、パラメータ数を削減しながらも特徴表現能力を維持する。
• すべての中間ブロック出力に対してマルチスケール監視を適用し、負の雨じま残差の粗くから細かくまでの学習を可能にする。
• すべての中間ブロック出力をアンサンブル学習によって統合し、最終的な再構成品質を向上させる。
• 各ブロックにグローバルショートカット接続を導入することで、学習の安定化と勾配の流れの改善を図る。
• ネットワークを分離可能に設計し、ユーザーは軽度の雨や低リソース環境向けに最初の数ブロックのみを選択可能にし、高い性能を維持できるようにする。

実験結果

リサーチクエスチョン

• RQ1 浅いブロックから深いブロックへの残差ガイドを有する段階的ネットワークは、標準的な残差学習と比較して、単一画像レイン除去の品質を向上させることができるか？
• RQ2 40Kパラメータ未満の軽量アーキテクチャが、合成データおよび実世界のレイン除去ベンチマークで競争力のある性能を達成できるか？
• RQ3 中間出力へのマルチスケール監視は、収束性の向上とより細かい粒度の残差推定をもたらすか？
• RQ4 提案モデルは、重大な性能低下を伴わずに、リソース制約や軽度の雨環境での使用に適切に分離可能か？
• RQ5 学習された特徴は、画像ノイズ除去などの他の低レベルビジョンタスクへどの程度一般化可能か？また、オブジェクト検出のような高レベルビジョンパイプラインでの性能向上はどの程度か？

主な発見

• 合成データにおいて、5ブロックを用いたテスト時SSIMは0.943を達成し、中間出力でも高い性能を示している（ブロック1でSSIM 0.927、ブロック3でSSIM 0.935）。
• JORDERなどの最先端手法と同等または優れたSSIM性能を達成しているが、パラメータ数は37Kと、一部のベースライン（100K以上）と比べて顕著に少ない。
• 実世界の雨の画像においても、教師なし条件下で競合手法よりもぼやけた結果を生成しており、優れた一般化性能を示している。
• ResGuideNet 3（3ブロック）は、GPUでテスト時の推論速度が0.06秒、CPUで1.26秒であり、特にCPU環境で大多数のベースラインを上回る速度性能を示している。
• 画像ノイズ除去への一般化も良好である。Gaussianノイズ（σ=0.1）を含むBSD500データセットで、SSIMは0.927を達成しており、類似した修復タスクへの移行性を示している。
• Faster R-CNNの前処理として使用した場合、重度の雨条件下でもオブジェクト検出性能が顕著に向上しており、高レベルビジョンパイプラインにおける価値を実証している。