[論文レビュー] SDNet: mutil-branch for single image deraining using swin

Fuxiang Tan, Yuting Kong+7 more|arXiv (Cornell University)|May 31, 2021

Image Enhancement Techniques参考文献 48被引用数 10

ひとこと要約

本稿では、単一画像のレイン除去を目的としたマルチブランチ型スウィン変換器ベースのモデルSDNetを提案する。従来の畳み込みを変更されたスウィン変換器に置き換えることで、長距離依存関係を捉え、特徴表現を向上させる。マルチスケール特徴抽出とスキップ接続を統合することで、Rain100L、Rain100H、および新規のRain3000データセットにおいて最先端の性能を達成し、Rain3000では34.09 dBのPSNRを記録。Rain100HではMPRNetより1.95 dBの向上を達成した。また、高速な推論速度と低いパラメータ数を維持している。

ABSTRACT

Rain streaks degrade the image quality and seriously affect the performance of subsequent computer vision tasks, such as autonomous driving, social security, etc. Therefore, removing rain streaks from a given rainy images is of great significance. Convolutional neural networks(CNN) have been widely used in image deraining tasks, however, the local computational characteristics of convolutional operations limit the development of image deraining tasks. Recently, the popular transformer has global computational features that can further facilitate the development of image deraining tasks. In this paper, we introduce Swin-transformer into the field of image deraining for the first time to study the performance and potential of Swin-transformer in the field of image deraining. Specifically, we improve the basic module of Swin-transformer and design a three-branch model to implement single-image rain removal. The former implements the basic rain pattern feature extraction, while the latter fuses different features to further extract and process the image features. In addition, we employ a jump connection to fuse deep features and shallow features. In terms of experiments, the existing public dataset suffers from image duplication and relatively homogeneous background. So we propose a new dataset Rain3000 to validate our model. Therefore, we propose a new dataset Rain3000 for validating our model. Experimental results on the publicly available datasets Rain100L, Rain100H and our dataset Rain3000 show that our proposed method has performance and inference speed advantages over the current mainstream single-image rain streaks removal models.The source code will be available at https://github.com/H-tfx/SDNet.

研究の動機と目的

• 局所的受容 field に起因する畳み込みニューラルネットワーク（CNN）ベースのレイン除去モデルが、長距離の文脈的依存関係を捉えることの制限を解消すること。
• 畳み込み演算をグローバル自己注意機構に置き換えることで、スウィン変換器の潜在的性能を画像レイン除去に活用することの検証。
• 異なる空間スケールからの特徴を統合するマルチブランチアーキテクチャを設計し、レインパターンおよびテクスチャの回復を向上させること。
• 既存の公開ベンチマークに見られるデータの同質性および重複問題を克服するため、新規で多様なデータセットRain3000を提案すること。
• 低パラメータ数と高速な推論速度を維持しながら、高いレイン除去性能を達成し、実用的導入を促進すること。

提案手法

• コアアーキテクチャは、標準的な畳み込み層を、グローバル特徴モデリングと長距離依存関係学習を可能にする修正されたスウィン変換器ブロックに置き換える。
• 三本のブランチ構造を導入：一つは浅い特徴抽出用、もう一つは深層特徴学習用、第三のブランチはMswt-3モジュールを用いたマルチスケール特徴統合用。
• 深層特徴と浅い特徴を連結するスキップ接続を採用し、特徴伝搬を強化し、微細なディテールを保持する。
• Mswt-3モジュールはスライディングウィンドウとウィンドウ間注意機構を用い、計算量を線形に保ちつつ、ウィンドウ間の情報交換を可能にする。
• ImageNetから構築された新規データセットRain3000は、3000組の学習データと400組のテストデータを含み、多様な背景とレインパターンを組み合わせることで、モデルの汎化性能を向上させる。
• モデルは、Y = B + Rという仮定に基づく再構成損失を用いて、エンドツーエンドで訓練される。ここでYは雨の画像、Bは綺麗な画像、Rはレインストリークを表す。

実験結果

リサーチクエスチョン

• RQ1 スウィン変換器のグローバル注意機構は、長距離依存関係を捉えることで、畳み込みネットワークを上回る性能を示せるか？
• RQ2 マルチスケール特徴統合を伴うマルチブランチアーキテクチャは、単一路または二本のブランチ構造と比較して、レイン除去性能をどのように向上させるか？
• RQ3 深層特徴と浅い特徴の間のスキップ接続は、微細なテクスチャの回復を向上させ、アーチファクトを低減するか？
• RQ4 多様な背景とレインパターンを有する新規に収集されたデータセットRain3000は、モデルの汎化性能を向上させ、同質なデータへの過学習を低減できるか？
• RQ5 変換器ベースのアーキテクチャをレイン除去に用いる場合、モデル性能、パラメータ数、推論速度のトレードオフはどのようなものか？

主な発見

• SDNetはRain3000データセットでPSNR 34.09 dB、SSIM 0.9621を達成し、比較対象のすべての手法を上回った。
• Rain100HではPSNR 28.26 dB、SSIM 0.8957を達成し、以前の最先端手法MPRNetと比較して1.95 dBと0.0497の向上を示した。
• SDNetはDCSFNの26.82%、MPRNetの47.58%のパラメータ数にまで削減したが、推論速度はDCSFNの5.7倍、MPRNetの1.79倍にまで向上した。
• 視覚的比較では、SDNetはレインストリークを効果的に除去し、テクスチャディテールを保持しており、RESCAN、NLEDN、GCANet、PREnet、DCSFN、MPRNetの各手法を定量的・定性的に上回った。
• アブレーションスタディの結果、三本のブランチを有するMswt-3モジュールが、173万パラメータのバリアントの中で最高の性能（PSNR 34.09 dB）を示した。
• 提案されたRain3000データセットは、より高い多様性と汎化可能性を示し、頑健なレイン除去モデルの評価を支援する。