[論文レビュー] Toward Real-world Single Image Deraining: A New Benchmark and Beyond

Wei Li, Qiming Zhang+4 more|arXiv (Cornell University)|Jun 11, 2022

Image Enhancement Techniques被引用数 8

ひとこと要約

本稿では、1,120組の高解像度で空間的に整合した綺麗な雨・雨の付いた画像ペアを含む高品質な実世界単一画像除雨データセット RealRain-1k と、実際の雨筋レイヤーを用いて生成された大規模な合成データセット SynRain-13k を紹介する。著者らは、教師あり学習、ドメイン一般化、転移学習の3つのトラックで10種類以上の最先端除雨モデルをベンチマークし、SynRain-13kで事前学習されたモデルが、以前の合成データセットで学習されたモデルを上回ることを示した。これは、実世界への一般化性能とモデルの頑健性を高めるために、本データセットが有効であることを裏付けている。

ABSTRACT

Single image deraining (SID) in real scenarios attracts increasing attention in recent years. Due to the difficulty in obtaining real-world rainy/clean image pairs, previous real datasets suffer from low-resolution images, homogeneous rain streaks, limited background variation, and even misalignment of image pairs, resulting in incomprehensive evaluation of SID methods. To address these issues, we establish a new high-quality dataset named RealRain-1k, consisting of $1,120$ high-resolution paired clean and rainy images with low- and high-density rain streaks, respectively. Images in RealRain-1k are automatically generated from a large number of real-world rainy video clips through a simple yet effective rain density-controllable filtering method, and have good properties of high image resolution, background diversity, rain streaks variety, and strict spatial alignment. RealRain-1k also provides abundant rain streak layers as a byproduct, enabling us to build a large-scale synthetic dataset named SynRain-13k by pasting the rain streak layers on abundant natural images. Based on them and existing datasets, we benchmark more than 10 representative SID methods on three tracks: (1) fully supervised learning on RealRain-1k, (2) domain generalization to real datasets, and (3) syn-to-real transfer learning. The experimental results (1) show the difference of representative methods in image restoration performance and model complexity, (2) validate the significance of the proposed datasets for model generalization, and (3) provide useful insights on the superiority of learning from diverse domains and shed lights on the future research on real-world SID. The datasets will be released at https://github.com/hiker-lw/RealRain-1k

研究の動機と目的

• 既存の実世界除雨データセットが低解像度、均一な雨筋、背景の変動不足、空間的非整合性といった制限を抱えているのを是正すること。
• 多様な雨の密度と背景を有する現実的で複雑なシナリオにおいて、単一画像除雨（SID）モデルを評価する高品質なベンチマークを確立すること。
• 完全教師あり学習、ドメイン一般化、転移学習という異なる学習枠組み下での、既存SID手法の性能と一般化能力を調査すること。
• 実際の雨筋レイヤーを用いた合成データセットが、実世界の雨の画像への一般化をどのように向上させるかを検討すること。

提案手法

• 著者らは、実世界のシーンから1,120本の高解像度の雨の付いた動画クリップを収集し、雨の密度を制御可能なフィルタリング手法を用いて、綺麗な画像と雨の付いた画像ペアを生成した。
• 線形重ね合わせモデルの逆操作により、綺麗な画像と雨の付いた画像の間で厳密な空間的整合性を確保した。これにより、正確なペア生成が可能になった。
• 生成された画像トリプレット（綺麗、軽い雨、強い雨）から、余分な情報として実際の雨筋レイヤーを抽出した。
• これらの実際の雨筋レイヤーを用いて、13,000枚の多様な自然画像に貼り付け、SynRain-13kを構築した。これにより、実際の雨の画像とのドメインギャップが低減された。
• 3つの学習トラック（RealRain-1kにおける教師あり学習、実データと合成データの間でのドメイン一般化、合成データから実データへの転移学習）で10種類以上の代表的なSIDモデルを評価した。
• モデル評価には、PSNR、SSIM、推論遅延、FLOPs、メモリフットプリントといった指標を用い、性能と効率性を評価した。

実験結果

リサーチクエスチョン

• RQ1 既存のSID手法は、複雑な背景と多様な雨の密度を有する高解像度で多様な実世界の雨の画像において、どのように性能を発揮するか？
• RQ2 合成データまたは実データで学習したSIDモデルは、未学習の実世界データセットに対して、どの程度一般化できるか？
• RQ3 実際の雨筋レイヤーを有する大規模な合成データセットで事前学習することで、実際の雨の画像に対する性能はどの程度向上するか？
• RQ4 現代のCNNおよびトランスフォーマー基盤アーキテクチャにおいて、除雨性能とモデル複雑性のトレードオフはどのようなものか？

主な発見

• SynRain-13kで事前学習したモデルは、Rain13kや事前学習なしのモデルと比較して、RealRain-1k-H において顕著に高いPSNRとSSIMを達成した（例：Restormerは41.88 dBのPSNRと0.9872のSSIMを達成）。
• RealRain-1k-Lで微調整されたMPRNetは、41.35 dBのPSNRと0.9867のSSIMを達成し、合成データから実データへの一般化、および実データから実データへの一般化の両設定で優れた性能を示した。
• HINetは88.666Mパラメータと512×512画像における826.86msの遅延を有しながらも、強力な性能を示しており、モデル複雑性と修復品質のトレードオフを浮き彫りにしている。
• 結果から、RealRain-1kで学習したモデルは、RainDS や SPA-data で学習したモデルよりも未学習の実環境に一般化しやすいことが示された。これは、データセットの品質と多様性を裏付けている。
• SynRain-13kからの転移学習は、学習から再開するか、古い合成データセットを使用するよりも優れた結果をもたらした。これは、実際の雨筋レイヤーに基づくデータ拡張の価値を示している。
• 本研究では、訓練データとテストデータの背景の重複（例：SPA-data）が、性能を楽観的に評価する要因となる可能性があることが判明した。これは、評価においてドメインの多様性の重要性を強調している。