[논문 리뷰] Spectral-Structured Diffusion for Single-Image Rain Removal

Yucheng Xing, Xin Wang|arXiv (Cornell University)|2026. 03. 10.

Image Enhancement Techniques인용 수 0

한 줄 요약

SpectralDiff는 주파수 인지적 섬유화 perturbation과 효율성을 위한 full-product U-Net을 사용하여 단일 이미지 비 rain 제거를 위한 스펙트럴-구조적 확산 프레임워크를 도입하여, 더 낮은 모델 복잡도와 더 빠른 추론으로 경쟁력 있는 제거 성능을 달성합니다.

ABSTRACT

Rain streaks manifest as directional and frequency-concentrated structures that overlap across multiple scales, making single-image rain removal particularly challenging. While diffusion-based restoration models provide a powerful framework for progressive denoising, standard spatial-domain diffusion does not explicitly account for such structured spectral characteristics. We introduce SpectralDiff, a spectral-structured diffusion-based framework tailored for single-image rain removal. Rather than redefining the diffusion formulation, our method incorporates structured spectral perturbations to guide the progressive suppression of multi-directional rain components. To support this design, we further propose a full-product U-Net architecture that leverages the convolution theorem to replace convolution operations with element-wise product layers, improving computational efficiency while preserving modeling capacity. Extensive experiments on synthetic and real-world benchmarks demonstrate that SpectralDiff achieves competitive rain removal performance with improved model compactness and favorable inference efficiency compared to existing diffusion-based approaches.

연구 동기 및 목표

• 빗줄기의 스펙트럴 구조를 활용하여 강건한 단일 이미지 비 rain 제거를 동기부여합니다.
• 주파수 의식적이고 방향성 perturbations를 주입하여 비를 점진적으로 제거하는 확산 기반 프레임워크를 제안합니다.
• 성능 저하 없이 계산량을 줄이기 위해 효율적인 연산자 수준의 U-Net(full-product)을 개발합니다.
• 합성 및 실제 데이터 세트에서 강건성을 평가하고 확산 기반 베이스라인과의 효율성을 비교합니다.

제안 방법

• 빗물을 층상 가산 구조로 모델링하고 확산 단계와 빗줄기와 일치시킵니다.
• 주파수 영역에서 방향 및 스케일(반경 및 각도 구성 요소)을 인코딩하는 마스크를 사용하여 스펙트럼-구조적 perturbations를 도입합니다.
• M_d로 마스킹된 복소 가우시안 노이즈를 사용한 전방 스펙트럼 확산과 입력 영상에 조건화된 역확산을 정의합니다.
• 마스크된 스펙트럴 노이즈에 대응하는 유도된 공간 perturbations를 예측하도록 디노이저를 학습시키며, 공간 도메인 작동을 가능하게 합니다.
• 스펙트럴 필터링을 근사하고 FLOPs를 줄이기 위해 입력 조건부로 동적으로 생성된 1x1 컨볼루션을 사용하는 full-product U-Net으로 표준 컨볼루션을 대체합니다.
• 추론은 추정된 빗물 방향에 기반한 비균일 DDIM-영감을 받은 스케줄을 사용하여 효율성과 방향성 일관성을 향상합니다.]
• research_questions: [
• 연구 질문 없음

실험 결과

연구 질문

• RQ1 SpectralDiff는 확산 기반 복원을 안내하기 위해 빗줄기의 스펙트럼 구조를 어떻게 인코딩할 수 있을까요?
• RQ2 주파수 영역 마스크와 방향성 바이어스를 도입하는 것이 전통적인 공간 확산보다 빗 제거를 향상시키나요?
• RQ3 전체-생산 U-Net이 확산 기반의 비 제거에서 계산 비용을 줄이면서 유사한 성능을 달성할 수 있나요?
• RQ4 SpectralDiff는 합성 및 실제 세계의 빗나는 장면에서 일반화 가능합니까?

주요 결과

• SpectralDiff는 Rain1400과 RainCityscapes에서 경쟁력 있는 PSNR/SSIM을 제공하고 SPA-Data에서 실제 세계 성능이 우수합니다.
• 이 방법은 10 확산 단계 이내에 수렴하며 확산 기반 베이스라인보다 대기 시간(latency)을 낮춥니다.
• 마스크로 구성된 구조적 스펙트럴 perturbation이 중요합니다; 순진한 스펙트럴 변형은 성능이 떨어집니다.
• 제품형 U-Net은 FLOPs와 파라미터를 크게 감소시키면서도 성능 저하를 최소화합니다.
• SpectralDiff는 합성 및 실제 빗 조건 모두에서 강건한 성능을 보여주며 베이스라인 대비 효율이 향상됩니다.