[논문 리뷰] Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model

Chunming He, Alex Chengyu Fang외 7명|arXiv (Cornell University)|2023. 11. 20.

Image Enhancement Techniques인용 수 10

한 줄 요약

Reti-Diff는 Retinex 기반의 잠재 확산 프레이워크를 통해 조명 저하 이미지 복원을 수행하고, Retinex 기반의 잠재 DM과 Retinex-유도 트랜스포머를 결합해 세부 묘사, 색 보정 및 IDIR 작업 전반의 강인성을 향상시킨다.

ABSTRACT

Illumination degradation image restoration (IDIR) techniques aim to improve the visibility of degraded images and mitigate the adverse effects of deteriorated illumination. Among these algorithms, diffusion model (DM)-based methods have shown promising performance but are often burdened by heavy computational demands and pixel misalignment issues when predicting the image-level distribution. To tackle these problems, we propose to leverage DM within a compact latent space to generate concise guidance priors and introduce a novel solution called Reti-Diff for the IDIR task. Reti-Diff comprises two key components: the Retinex-based latent DM (RLDM) and the Retinex-guided transformer (RGformer). To ensure detailed reconstruction and illumination correction, RLDM is empowered to acquire Retinex knowledge and extract reflectance and illumination priors. These priors are subsequently utilized by RGformer to guide the decomposition of image features into their respective reflectance and illumination components. Following this, RGformer further enhances and consolidates the decomposed features, resulting in the production of refined images with consistent content and robustness to handle complex degradation scenarios. Extensive experiments show that Reti-Diff outperforms existing methods on three IDIR tasks, as well as downstream applications. Code will be available at \url{https://github.com/ChunmingHe/Reti-Diff}.

연구 동기 및 목표

• 조명 저하 이미지 복원(IDIR)을 latent 공간에서의 효율적인 확산 기반 가이던스로 동기 부여하고 해결한다.
• Retinex 이론을 활용하여 더 나은 복원 및 색 보정을 위한 반사율(reflectance)과 조도(illumination) priors를 추출한다.
• RLDM을 도입하여 Retinex priors를 학습하고 RGformer를 도입하여 priors를 특징 분해 및 재구성에 융합한다.
• 다양한 IDIR 작업에서 견고한 성능을 달성하고 다운스트림 비전 작업에 대한 이점을 입증한다.

제안 방법

• 두 구성요소로 이루어진 Reti-Diff 프레임워크를 제안한다: Retinex 기반 잠재 확산 모델(RLDM)과 Retinex-가이드 트랜스포머(RGformer).
• RLDM은 Retinex 지식을 학습하고 반사율(reflectance)과 조도(illumination) 도메인에 대한 компакт한 priors를 생성한다.
• RGformer는 Retinex priors를 사용하여 Retinex-guided 다중-헤드 교차 주의(RG-MCA)와 동적 특징 집계(DFA)를 통해 특징을 반사율과 조도 구성요소로 분해한다.
• 훈련은 두 단계로 수행된다: 1단계는 Retinex prior 추출(RPE) 및 RGformer 가이던스로 Reti-Diff를 사전 학습; 2단계는 RLDM이 반사율과 조도 도메인에서 Retinex priors를 예측하도록 학습한다.
• 손실은 복원 재구성 손실, Retinex 분해를 감독하는 Retinex 손실, 그리고 생성된 priors와 RLDM priors를 정렬하는 확산 손실(LDif)을 포함한다.
• 추론은 RLDM으로부터 조건화된 priors를 사용하여 Retinex 이론에 의해 가이드된 고품질 복원 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 잠깐 공간에서의 잠재 확산이 이미지 스페이스 확산에 비해 계산량을 줄이면서 IDIR에 효과적인 가이던스 priors를 제공할 수 있는가?
• RQ2 RLDM을 통해 학습된 Retinex 유도 반사율(reflectance)과 조도(priors)가 트랜스포머 기반의 복원 네트워크에 통합될 때 더 정확한 디테일 재구성과 색 보정을 가능하게 하는가?
• RQ3 RGformer가 RG-MCA와 DFA를 사용하여 다양한 저하 시나리오에서 반사율과 조도 특징을 견고하게 분해하고 융합할 수 있는가?
• RQ4 RPE, RGformer, RLDM의 공동 학습이 복원 품질과 견고성을 향상시키고 객체 탐지 및 분할과 같은 다운스트림 작업으로 일반화될 수 있는가?

주요 결과

• Reti-Diff는 세 가지 IDIR 작업에서 여러 벤치마크(예: 저조도, 수중, 역광)에서 기존 방법을 능가한다.
• RLDM은 Retinex 지식을 학습하고 반사율 및 조도 priors를 제공하여 RGformer의 디테일 복원과 색 보정에 가이드를 제공한다.
• RGformer는 Retinex priors를 사용하여 특징을 반사율과 조도로 분해하고, RG-MCA 및 DFA를 통해 일관된 복원을 위한 정제(정합)를 수행한다.
• RPE, RGformer, RLDM의 공동 학습은 극단적 저하 상황에서 복원 품질과 강건성을 향상시킨다.
• 이 접근법은 저조도 물체 탐지 및 분할과 같은 다운스트림 응용에서도 바람직한 결과를 보여준다.