[논문 리뷰] Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark

Xin Lin, Jingtong Yue외 4명|arXiv (Cornell University)|2023. 05. 06.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 실생활의 비가 온 어두운 조건에서 동시에 저조도 향상과 비줄기 제거를 수행하는 엔드 투 엔드 딥 러닝 프레임워크인 $L^{2}RIRNet$을 제안한다. 밝은 영역과 어두운 영역의 별도로 열악한 조건을 모델링하기 위해 쌍방향 열악화 특징 벡터 추출 네트워크(P-Net)를 사용하고, 텍스처 사전 지식을 위해 푸리에 기반 디테일 가이던스 모듈(FFR-DG)을 도입함으로써, 합성 및 실세계 데이터셋 모두에서 최신 기술(SOTA) 수준의 성능을 달성하였다. PSNR, SSIM, NIQE 지표에서 캐스케이드 및 단일 작업 접근 방식을 모두 능가하였다.

ABSTRACT

Rain in the dark poses a significant challenge to deploying real-world applications such as autonomous driving, surveillance systems, and night photography. Existing low-light enhancement or deraining methods struggle to brighten low-light conditions and remove rain simultaneously. Additionally, cascade approaches like ``deraining followed by low-light enhancement'' or the reverse often result in problematic rain patterns or overly blurred and overexposed images. To address these challenges, we introduce an end-to-end model called L$^{2}$RIRNet, designed to manage both low-light enhancement and deraining in real-world settings. Our model features two main components: a Dual Degradation Representation Network (DDR-Net) and a Restoration Network. The DDR-Net independently learns degradation representations for luminance effects in dark areas and rain patterns in light areas, employing dual degradation loss to guide the training process. The Restoration Network restores the degraded image using a Fourier Detail Guidance (FDG) module, which leverages near-rainless detailed images, focusing on texture details in frequency and spatial domains to inform the restoration process. Furthermore, we contribute a dataset containing both synthetic and real-world low-light-rainy images. Extensive experiments demonstrate that our L$^{2}$RIRNet performs favorably against existing methods in both synthetic and complex real-world scenarios. All the code and dataset can be found in \url{https://github.com/linxin0/Low_light_rainy}.

연구 동기 및 목표

• 기존의 단일 작업 또는 캐스케이드 방법이 효과적으로 다룰 수 없는 동시에 저조도와 비가 온 이미지를 복원하는 과제를 해결한다.
• 캐스케이드 방법의 한계를 극복하여 저조도 조건에서 과도하게 밝아짐, 너무 어두워짐, 잔여 비줄기 패atters, 흐림 등의 문제를 방지한다.
• 어두운 영역과 밝은 영역 양쪽에서 복잡한 실세계 열악화 패턴을 동시에 처리할 수 있는 통합 프레임워크를 개발한다.
• 대trastive 학습을 활용해 저조도 영역과 밝은 영역의 고유한 열악화 특징을 포착하는 새로운 열악화 표현 방식을 제안한다.
• 새로운 디테일 가이던스 모듈을 통해 텍스처 및 주파수 도메인 사전 지식을 통합하여 이미지 복원 성능을 향상시킨다.

제안 방법

• P-Net와 복원 네트워크(R-Net)로 구성된 엔드 투 엔드 U-Net 기반 아키텍처인 $L^{2}RIRNet$을 제안한다.
• P-Net는 어두운 영역과 밝은 영역에 대해 각각 별도로 열악화 특징 벡터를 추출하기 위해 공유된 인코더를 사용하며, 유사도 기반 대비 학습을 통해 정확도를 향상시킨다.
• 채널별 뺄셈과 연결을 통해 디테일 이미지를 생성함으로써 텍스처를 유지하면서 비와 조명 잔여물 등을 억제하는 빠른 푸리에-리스넷 디테일 가이던스(FFR-DG) 모듈을 도입한다.
• FFR-DG 모듈은 푸리에 변환을 통해 공간 도메인과 주파수 도메인 특징을 융합하여 R-Net에 강력한 사전 지식을 제공한다.
• P-Net에서 이중 분지 특징 학습 전략을 도입해 이미지 전반에 퍼진 이질적인 열악화 분포를 모델링함으로써 복원 정밀도를 향상시킨다.
• 일반화 성능 향상을 위해 합성 및 실세계 저조도 비가 온 이미지 쌍을 포함한 새로운 데이터셋을 구축하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합 딥 러닝 프레임워크가 캐스케이드 또는 단일 작업 방법보다 효과적으로 저조도 향상과 비줄기 제거를 동시에 수행할 수 있는가?
• RQ2 어두운 영역과 밝은 영역에서 별도로 열악화 특징을 모델링하는 것이 단일 통합 표현에 비해 복원 성능을 어떻게 향상시키는가?
• RQ3 주파수 도메인 및 공간 디테일 사전 지식을 통합함으로써 저조도 비가 온 조건에서의 이미지 복원 성능은 어느 정도 향상되는가?
• RQ4 제안된 FFR-DG 모듈이 텍스처 복원을 어떻게 향상시키고, 흐림이나 잔여 비줄기 줄무늬 등의 잔여물은 어떻게 감소시키는가?
• RQ5 모델은 합성 및 실세계 저조도 비가 온 이미지 분포 간에 얼마나 잘 일반화되는가?

주요 결과

• $L^{2}RIRNet$은 합성 LLR 데이터셋에서 최고의 PSNR(29.96 dB)와 SSIM 성능를 기록하여, 모든 베이스라인 및 캐스케이드 방법을 크게 능가하였다.
• 실세계 LLR 데이터셋에서 $L^{2}RIRNet$은 NIQE 점수 13.881로 가장 낮아 다른 방법들에 비해 열등한 시각적 품질을 보였다.
• 절단 실험 결과, P-Net를 추가함으로써 단일 분지 열악화 특징 추출 대비 PSNR가 0.58 dB 향상되어 이중 영역 모델링의 가치를 입증하였다.
• FFR-DG 모듈을 포함시킴으로써 P-Net 전용 버전 대비 PSNR가 0.84 dB 향상되어 디테일 복원에서의 핵심적 역할을 입증하였다.
• LLR 데이터셋에서 최신 기술 모델(MIRNet, RCDNet 등)을 재학습한 후에도 $L^{2}RIRNet$은 정량적 및 정성적 평가에서 여전히 뛰어난 성능을 유지하였다.
• 시각적 결과는 $L^{2}RIRNet$이 과도하게 밝아지거나 흐려지지 않고 비줄기 패턴을 효과적으로 제거하면서 어두운 영역의 가시성을 회복함을 확인하였으며, 캐스케이드 방법이 잔여 잡음을 남기는 것과는 대조적으로 나타났다.