[論文レビュー] DRD-Net: Detail-recovery Image Deraining via Context Aggregation Networks

Sen Deng, Mingqiang Wei+4 more|arXiv (Cornell University)|Aug 27, 2019

Image Enhancement Techniques参考文献 23被引用数 14

ひとこと要約

DRD-Netは、新規の構造的詳細文脈集約ブロック（SDCAB）とシーケンス・エクスカーション（SE）ベースのレインリサイカルネットワークを用いて、一括画像のレイン除去と同時に雨じめりんを除去し、失われた画像の詳細を回復するエンド・ツー・エンドのディープラーニングフレームワークを提案する。本手法は、合成データセットおよび実世界データセットにおいて、ぼやけや色の歪みなどのアーティファクトを低減し、細かいディテールを効果的に保持することで、最先端の性能を達成している。

ABSTRACT

Image deraining is a fundamental, yet not well-solved problem in computer vision and graphics. The traditional image deraining approaches commonly behave ineffectively in medium and heavy rain removal, while the learning-based ones lead to image degradations such as the loss of image details, halo artifacts and/or color distortion. Unlike existing image deraining approaches that lack the detail-recovery mechanism, we propose an end-to-end detail-recovery image deraining network (termed a DRD-Net) for single images. We for the first time introduce two sub-networks with a comprehensive loss function which synergize to derain and recover the lost details caused by deraining. We have three key contributions. First, we present a rain residual network to remove rain streaks from the rainy images, which combines the squeeze-and-excitation (SE) operation with residual blocks to make full advantage of spatial contextual information. Second, we design a new connection style block, named structure detail context aggregation block (SDCAB), which aggregates context feature information and has a large reception field. Third, benefiting from the SDCAB, we construct a detail repair network to encourage the lost details to return for eliminating image degradations. We have validated our approach on four recognized datasets (three synthetic and one real-world). Both quantitative and qualitative comparisons show that our approach outperforms the state-of-the-art deraining methods in terms of the deraining robustness and detail accuracy. The source code has been available for public evaluation and use on GitHub.

研究の動機と目的

• 一括画像のレイン除去において、従来の手法が細かいテクスチャをぼやけさせたり歪めたりするという、画像ディテールの劣化という重要な課題に対処すること。
• 従来の手法や学習ベースの手法が、レイン除去の過程で失われたディテールを回復できないという限界を克服すること。
• レイン除去とディテール回復を統合的に実行するエンド・ツー・エンドのフレームワークを構築し、視覚的忠実度を向上させること。
• 詳細再構築のためのコンテキストモデリングを強化する大規模な受容 field を有する新規アーキテクチャを導入すること。
• 合成および実世界のデータセットを用いて手法の妥当性と一般化性能を検証すること。

提案手法

• 同じ畳み込み層内で特徴マップの再キャリブレーションを実行することで、空間的コンテキストモデリングを強化するSEベースのレインリサイカルネットワークを提案する。
• 多スケールのコンテキスト特徴を効果的に集約できる大規模な受容 field を有する構造的詳細文脈集約ブロック（SDCAB）を設計し、ディテール回復の性能を向上させる。
• SDCAB から得た特徴を活用して、レイン除去後に失われた画像ディテールを再構築する専用のディテール修復ネットワークを統合する。
• 再構成精度、テクスチャ保持、リアリズムのバランスを図るために、L1損失、知覚的損失、敵対的損失を組み合わせた包括的な損失関数を採用する。
• レイン除去とディテール回復の両方のタスクに共同で監視を行うマルチステージ最適化戦略を用いて、エンド・ツー・エンドのDRD-Netを訓練する。
• レイン除去（SEブロックを備えた）とディテール修復（SDCABを用いた）の2本のブランチを持つネットワーク設計を採用し、相乗的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのレイン除去ネットワークは、レイン除去の過程で失われた画像ディテールを効果的に回復できるか？
• RQ2 大規模な受容 field を有する文脈集約ブロック（SDCAB）の統合は、レイン除去後の画像におけるディテール回復をどのように向上させるか？
• RQ3 シーケンス・エクスカーション（SE）機構は、空間的コンテキストを保持しつつ、レインストライプの除去をどの程度効果的に向上させるか？
• RQ4 提案されたエンド・ツー・エンドフレームワークは、合成および実世界のデータセットにおいて、定量的指標と視覚的品質の両面で、既存の最先端手法を上回るか？
• RQ5 DRD-Net のレイン除去出力は、外部のビジョンAPIによって「雨が降っている」と正しく識別されるか？ これは、レイン関連の視覚的特徴が効果的に保持されていることを示唆する。

主な発見

• Rain200H データセットでは、DRD-Net は PSNR 28.16、SSIM 0.9201 を達成し、DAF-Net や RESCAN を含むすべてのベースラインを上回った。
• Rain800 データセットでは、DRD-Net は PSNR 26.32、SSIM 0.9018 を達成し、多様な雨のパターンに対しても優れた一般化性能を示した。
• アブレーションスタディの結果、SDCAB ブロックが性能向上に顕著な寄与をしていることが確認され、Rain200H では M=16, D=8+3 の場合のPSNR 26.93 が、M=64, D=16+3 の場合に28.16に向上した。
• SEモジュールの導入により性能向上が得られ、Rain200H ではSEなしのPSNR 26.20 が、SEとSDCABを併用した場合に28.16に上昇した。
• Google Vision API の結果、DRD-Net はレイン除去後の画像において検出可能なレイン関連の特徴を保持しており、ベースラインと比較して顕著に高い信頼度スコアを示した。
• 本手法は、速度と性能のバランスを図っており、Rain200H における推論時間は 0.54 秒であり、一部の高速ベースラインよりわずかに遅いが、実世界での導入には十分に許容可能である。