[論文レビュー] Sparse Sampling Transformer with Uncertainty-Driven Ranking for Unified Removal of Raindrops and Rain Streaks

Sixiang Chen, Ye Tian+4 more|arXiv (Cornell University)|Aug 27, 2023

Image Enhancement TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、不規則な雨じめりと雨粒を統合的に除去することを目的としたスパースサンプリングTransformer、UDR-S2Formerを提案する。グローバルな劣化関係を適応的にサンプリングし、不確実性マップを用いて特徴の順序付けをガイドすることで、最小限の計算コストで最先端の性能を達成し、複数のベンチマークで先行手法を上回る。

ABSTRACT

In the real world, image degradations caused by rain often exhibit a combination of rain streaks and raindrops, thereby increasing the challenges of recovering the underlying clean image. Note that the rain streaks and raindrops have diverse shapes, sizes, and locations in the captured image, and thus modeling the correlation relationship between irregular degradations caused by rain artifacts is a necessary prerequisite for image deraining. This paper aims to present an efficient and flexible mechanism to learn and model degradation relationships in a global view, thereby achieving a unified removal of intricate rain scenes. To do so, we propose a Sparse Sampling Transformer based on Uncertainty-Driven Ranking, dubbed UDR-S2Former. Compared to previous methods, our UDR-S2Former has three merits. First, it can adaptively sample relevant image degradation information to model underlying degradation relationships. Second, explicit application of the uncertainty-driven ranking strategy can facilitate the network to attend to degradation features and understand the reconstruction process. Finally, experimental results show that our UDR-S2Former clearly outperforms state-of-the-art methods for all benchmarks.

研究の動機と目的

• 複雑な現実世界のシーンにおける不規則な雨じめりと雨粒を同時に除去する課題に対処すること。
• 雨アーティファクトの形状・サイズ・位置が多様な状況下でも、長距離の劣化関係をモデル化すること。
• 不確実性マップを明示的に活用してアテンションとサンプリングをガイドすることで、画像復元の性能を向上させること。
• 高精細なディテール回復を維持しつつ、軽量で効率的なアーキテクチャを構築すること。

提案手法

• 全画像から関連する劣化特徴を適応的にサンプリングするスパースサンプリングアテンション（SSA）機構を提案し、固定ウィンドウ分割を回避する。
• 不確実性マップを用いて特徴選択とアテンションをガイドする不確実性駆動順序付け（UDR）戦略を導入し、複雑な劣化領域への注目を強化する。
• サンプリング中に顕著な劣化パターンに注目するよう明示的に制限するため、不確実性順序付けに基づく制約行列を構築する。
• 局所的復元を強化するため、学習可能な相関マップ順序付け機構を採用する。
• 残差接続を備えたマルチスケール画像再構築モジュールを用いて、劣化領域の細部を保持する。
• 不確実性推定をアテンション機構に統合することで、高不確実性領域におけるロバスト性とモデル精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 不確実性マップを用いて、劣化モデル化のためのアテンションサンプリングを効果的にガイドできるか？
• RQ2 固定ウィンドウ自己アテンションと比較して、劣化特徴の適応的かつグローバルなサンプリングは、複雑な雨パターンの処理においてどのように優れるか？
• RQ3 不確実性特徴を明示的に順序付けすることで、統合的雨除去の性能にどのような影響を与えるか？
• RQ4 高価なNASや大規模計算に依存せずに、軽量なTransformerベースアーキテクチャがSOTAの結果を達成できるか？
• RQ5 本手法は、密集または大規模な雨アーティファクトを持つ領域においても、細部をどのように保持するか？

主な発見

• UDR-S2FormerはRainDS-SynベンチマークでPSNR 36.91を達成し、先行SOTA手法を顕著に上回った。
• 除去実験では、不確実性駆動順序付けと制約行列の両方が不可欠であることが確認され、それらを削除するとPSNRが0.5 dB以上低下した。
• モデルは優れた視覚的品質を示し、密集し重複する雨じめりや雨粒が存在するシーンでも、細部やテクスチャを明確に保持した。
• Restormer、IDT、NAFNetと比較して、UDR-S2Formerは現実世界の雨シーンにおいて、ぼやけやアーチファクトが少なく、より明確な出力を生成した。
• 補足実験では、NASベースや大規模なTransformerモデルと比較して、より低いメモリ使用量と高速な処理コストを維持しており、高い効率性を示した。
• 不確実性マップは劣化領域に集中しており、それらをアテンションガイドの信号として使用する設計の妥当性が裏付けられた。