[論文レビュー] Spectral-Structured Diffusion for Single-Image Rain Removal

Yucheng Xing, Xin Wang|arXiv (Cornell University)|Mar 10, 2026

Image Enhancement Techniques被引用数 0

ひとこと要約

SpectralDiffは、周波数認識の摂動と完全積U-Netを用いた、単一画像の雨除去のスペクトル構造拡散フレームワークを提案。効率的かつモデル複雑性を抑えつつ、競争力のある除雨性能と高速推論を実現。

ABSTRACT

Rain streaks manifest as directional and frequency-concentrated structures that overlap across multiple scales, making single-image rain removal particularly challenging. While diffusion-based restoration models provide a powerful framework for progressive denoising, standard spatial-domain diffusion does not explicitly account for such structured spectral characteristics. We introduce SpectralDiff, a spectral-structured diffusion-based framework tailored for single-image rain removal. Rather than redefining the diffusion formulation, our method incorporates structured spectral perturbations to guide the progressive suppression of multi-directional rain components. To support this design, we further propose a full-product U-Net architecture that leverages the convolution theorem to replace convolution operations with element-wise product layers, improving computational efficiency while preserving modeling capacity. Extensive experiments on synthetic and real-world benchmarks demonstrate that SpectralDiff achieves competitive rain removal performance with improved model compactness and favorable inference efficiency compared to existing diffusion-based approaches.

研究の動機と目的

• 雨ストリークのスペクトル構造を活用して頑健な単一画像雨除去を動機づける。
• 周波数情報を意識した方向性の摂動を注入する拡散フレームワークを提案し、雨を段階的に除去する。
• 性能を損なうことなく計算を削減する効率的なオペレーター級U-Net（full-product）を開発する。
• 合成データと実データセットで頑健性を評価し、拡散ベースのベースラインと効率を比較する。

提案手法

• 雨を層状の加法構造としてモデル化し、拡散ステップを雨層と整列させる。
• 方向とスケールを符号化するマスクを用いた周波数領域でのスペクトル構造摂動を導入する（放射状および角度成分）。
• 前方スペクトル拡散を複素正規ノイズで定義し、M_dでマスクされ、入力画像を条件として逆ノイズ除去を行う。
• マスクされたスペクトルノイズに対応する生じた空間的摂動を予測するデノイザーを訓練し、空間領域での動作を可能にする。
• 標準畳み込みを、入力条件付きで動的に生成される1x1畳み込みを用いてスペクトルフィルタリングを近似し、FLOPsを削減するfull-product U-Netに置換する。
• 推論は、推定雨の方向に基づく非一様なDDIM風スケジュールを使用して効率と方向整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 雨ストリークのスペクトル構造をどのようにエンコードして拡散ベースの復元を導くか。
• RQ2 周波数領域のマスクと方向性バイアスを取り入れると、従来の空間拡散より雨除去が改善されるか。
• RQ3 完全積U-Netは、拡散ベースの除雨において計算コストを抑えつつ同等の性能を達成できるか。
• RQ4 SpectralDiffは合成雨景と実雨シーンの両方に一般化するか。

主な発見

Dataset	PSNR	SSIM	Time
Rain1400	30.39	0.860	0.114
RainCityscapes	29.04	0.915	0.115
SPA-Data	38.03	0.895	0.118

• SpectralDiffはRain1400とRainCityscapesで競合的なPSNR/SSIMを達成し、SPA-Dataで実雨データにおいて優れた性能を示す。
• 本手法は10拡散ステップで収束し、拡散ベースのベースラインより遅延が少ない。
• マスクを用いた構造化スペクトル摂動が重要で、単純なスペクトル変種は劣る。
• プロダクトU-NetはFLOPsとパラメータを大幅に削減し、性能の低下を最小に抑える。
• SpectralDiffは合成・実雨条件の双方で頑健な性能を示し、ベースラインと比較して効率が向上する。