[論文レビュー] From heavy rain removal to detail restoration: A faster and better network

Yuanbo Wen, Tao Gao+3 more|arXiv (Cornell University)|May 7, 2022

Image Enhancement Techniques参考文献 40被引用数 9

ひとこと要約

本稿では、雨縞の除去に拡張畳み込みを組み合わせた密接な残差ブロック（DDRB）を用い、その後に強化された残差ピクセル単位の注目ブロック（ERPAB）で細部を回復する二段階のプログレッシブ強化ネットワーク、DPENetを提案する。本手法は、derainingの品質と推論効率の両面で最先端の性能を達成し、PReNetと比較して38.9%高速な推論と36.1%低いFLOPsを実現した。

ABSTRACT

The profound accumulation of precipitation during intense rainfall events can markedly degrade the quality of images, leading to the erosion of textural details. Despite the improvements observed in existing learning-based methods specialized for heavy rain removal, it is discerned that a significant proportion of these methods tend to overlook the precise reconstruction of the intricate details. In this work, we introduce a simple dual-stage progressive enhancement network, denoted as DPENet, aiming to achieve effective deraining while preserving the structural accuracy of rain-free images. This approach comprises two key modules, a rain streaks removal network (R$^2$Net) focusing on accurate rain removal, and a details reconstruction network (DRNet) designed to recover the textural details of rain-free images. Firstly, we introduce a dilated dense residual block (DDRB) within R$^2$Net, enabling the aggregation of high-level and low-level features. Secondly, an enhanced residual pixel-wise attention block (ERPAB) is integrated into DRNet to facilitate the incorporation of contextual information. To further enhance the fidelity of our approach, we employ a comprehensive loss function that accentuates both the marginal and regional accuracy of rain-free images. Extensive experiments conducted on publicly available benchmarks demonstrates the noteworthy efficiency and effectiveness of our proposed DPENet. The source code and pre-trained models are currently available at \url{https://github.com/chdwyb/DPENet}.

研究の動機と目的

• 1枚の画像における重度の雨除去時に細かいテクスチャの詳細を保持するという、長年の課題に対処すること。
• 既存のderainingネットワークが雨縞の除去を重視し、その結果として細部の損失を生じるという限界を克服すること。
• 高品質なderainingを達成しつつ計算速度を損なわない、軽量で効率的なアーキテクチャを設計すること。
• 新規なアーキテクチャ的要素（DDRBとERPAB）を導入することで、特徴表現と文脈の集約を向上させること。
• 局所的および領域的な精度を向上させるために、ハイブリッド損失関数を構築すること。

提案手法

• ネットワークは二段階の設計を採用する：まず、拡張畳み込みを用いた密接な残差ブロック（DDRB）を用いた雨縞除去ネットワーク（R²Net）が、広い受容 field を持つ多段階特徴を抽出する。
• DDRB は、異なる率の拡張畳み込みと密なスキップ接続を統合することで、特徴の伝搬と文脈モデリングを強化する。
• 次に、細部再構築ネットワーク（DRNet）が、強化された残差ピクセル単位の注目ブロック（ERPAB）を用いて細かいテクスチャを回復する。
• ERPAB は、複数の受容フィールドを捉えるための並列拡張畳み込み統合ブロック（PDFB）と、空間相関を精緻化するピクセル単位の注目ブロック（PAB）を組み合わせる。
• 局所的およびグローバルな画像忠実度を向上させるために、L1損失、知覚的損失、敵対的損失を組み合わせたハイブリッド損失関数が採用される。
• モデルは、合成データおよび実世界データセット上でエンドツーエンドに訓練され、推論の高速化と低FLOPsを最適化している。

実験結果

リサーチクエスチョン

• RQ1 二段階のネットワークアーキテクチャは、雨縞の除去と細部の回復を同時に改善できるか？
• RQ2 DDRBにおける拡張畳み込みと密な残差接続の統合は、雨の強い状況下での特徴表現を向上させるか？
• RQ3 強化されたピクセル単位の注目メカニズム（ERPAB）は、derained画像における高周波数テクスチャを効果的に回復できるか？
• RQ4 提案されたハイブリッド損失関数は、標準的な損失関数と比較して、より優れた知覚的品質と構造的正確性をもたらすか？
• RQ5 本ネットワークは、低計算コストと高速な推論速度を維持しながら、最先端の性能を達成できるか？

主な発見

• 実世界のRain1000データセットにおいて、DPENetはNIQEスコア18.42、SSEQスコア16.29を記録し、比較対象の全手法を上回った。
• Rain100Hベンチマークでは、PSNRが30.12 dB、SSIMが0.901を達成し、優れた再構築品質を示した。
• PReNetと比較して、平均推論時間を38.9%短縮し、FLOPsを36.1%低減した。効率と精度のトレードオフが最良のバランスを保った。
• 視覚的比較では、DPENetは雨縞とヴェーリング効果を効果的に除去し、他の手法が残存するアーチファクトを残さない細かいテクスチャを保持していた。
• アブレーションスタディの結果、DDRBおよびERPABの両方が性能向上に顕著な貢献を示し、ハイブリッド損失関数が構造的および知覚的忠実度を向上させた。
• 効率性を維持している一方で、雨粒や極端に変動する天候状況に対しては一般化性能に限界があることが示され、さらなる耐性強化の必要性が示唆された。