[논문 리뷰] DA-DRN: Degradation-Aware Deep Retinex Network for Low-Light Image Enhancement

Xinxu Wei, Xian-Shi Zhang외 5명|arXiv (Cornell University)|2021. 10. 05.

Image Enhancement Techniques참고 문헌 54인용 수 5

한 줄 요약

이 논문은 저조도 영상 향상에서 밝기 향상, 노이즈 억제, 색상 왜곡 보정, 세부 사항 유지 문제를 동시에 해결하는 분해 기반의 저조도 영상 향상 기법인 DA-DRN을 제안한다. U-Net 기반의 분해 네트워크에 분해 인식 모듈을 통합함으로써, 반사율 복원과 인지적 손실을 활용한 조명 향상이 가능한 엔드 투 엔드 학습을 가능하게 하였으며, 600×400 영상 기준 7ms의 인fer 시간으로 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Images obtained in real-world low-light conditions are not only low in brightness, but they also suffer from many other types of degradation, such as color distortion, unknown noise, detail loss and halo artifacts. In this paper, we propose a Degradation-Aware Deep Retinex Network (denoted as DA-DRN) for low-light image enhancement and tackle the above degradation. Based on Retinex Theory, the decomposition net in our model can decompose low-light images into reflectance and illumination maps and deal with the degradation in the reflectance during the decomposition phase directly. We propose a Degradation-Aware Module (DA Module) which can guide the training process of the decomposer and enable the decomposer to be a restorer during the training phase without additional computational cost in the test phase. DA Module can achieve the purpose of noise removal while preserving detail information into the illumination map as well as tackle color distortion and halo artifacts. We introduce Perceptual Loss to train the enhancement network to generate the brightness-improved illumination maps which are more consistent with human visual perception. We train and evaluate the performance of our proposed model over the LOL real-world and LOL synthetic datasets, and we also test our model over several other frequently used datasets without Ground-Truth (LIME, DICM, MEF and NPE datasets). We conduct extensive experiments to demonstrate that our approach achieves a promising effect with good rubustness and generalization and outperforms many other state-of-the-art methods qualitatively and quantitatively. Our method only takes 7 ms to process an image with 600x400 resolution on a TITAN Xp GPU.

연구 동기 및 목표

• 저조도 영상에서 발생하는 노이즈, 색상 왜곡, 세부 사항 손실, 환영 아티팩트 등의 복합적 열화 문제를 동시에 해결한다.
• 후처리 단계 없이 분해 단계에 분해 인식을 직접 통합함으로써 기존 리티누스 기반 방법을 향상시킨다.
• 고주파 세부 정보를 유지하면서 노이즈 억제 및 색상 불균형 보정을 동시에 수행하는 엔드 투 엔드 학습을 가능하게 한다.
• 성능을 희생시키지 않고도 실시간 적용이 가능한 빠른 추론 속도를 확보하여 실생활 환경에서의 구현 가능성을 높인다.
• 조정 가능한 하이퍼파라미터를 통해 색상 채도와 노이즈 억제 수준를 제어할 수 있도록 유연성을 제공함으로써 사용자 제어성과 일반화 능력을 향상시킨다.

제안 방법

• 학습 단계에서 노이즈 없는, 색상 보정이 된 반사율 맵을 생성하도록 지도하는 분해 인식 모듈(DA 모듈)을 제안하며, 추론 시 추가 계산 비용이 발생하지 않는다.
• 리티누스 이론에 기반한 U-Net 아키텍처를 사용하여 저조도 영상을 반사율 맵과 조명 맵으로 분해한다. 반사율 맵은 텍스처와 색상을 담고 있으며, 조명 맵은 밝기 분포를 담는다.
• 인간의 시각적 인지에 더 가까운 조명 맵을 생성하기 위해 향상 단계에서 인지적 손실을 도입한다.
• 색상 채도와 노이즈 억제의 균형을 맞추기 위해 총 변동성(TV) 손실과 평균 제곱 오차(MSE) 손실을 조합하고, 조정 가능한 계수(λ_TV)를 사용한다.
• 실세계(LOL) 및 합성 데이터셋을 동시에 엔드 투 엔드로 학습시켜 다양한 열화 수준에 대비한 강건성을 확보한다.
• 후처리 단계의 노이즈 제거나 색상 보정을 생략함으로써 추론 속도를 향상시켰으며, TITAN Xp GPU에서 600×400 영상 기준으로 7ms의 지연 시간을 기록하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 후처리 없이 저조도 영상 향상에서 노이즈 억제, 색상 왜곡 보정, 세부 사항 유지, 환영 아티팩트 제거를 동시에 수행할 수 있는가?
• RQ2 리티누스 기반 네트워크의 분해 단계에 열화 인식을 어떻게 직접 통합하여 강건성과 성능을 향상시킬 수 있는가?
• RQ3 하이퍼파라미터 조정을 통해 다양한 노이즈 수준과 열화 유형을 가진 데이터셋 간의 일반화 능력은 어느 정도 향상될 수 있는가?
• RQ4 기존의 PSNR와 같은 전통적 지표에 비해 인지적 손실이 시각적 품질 향상에 기여하는가?
• RQ5 실세계 및 비참조 데이터셋에서 최신 기술 대비 속도와 성능 측면에서 어떻게 비교되는가?

주요 결과

• DA-DRN은 실세계 및 합성 데이터셋에서 모든 네 가지 색상 왜곡 지표(DeltaE, 색채도 등)에서 최고 성능을 기록하며, 기존 방법들을 압도한다.
• 네 종류의 비참조 데이터셋(LIME, DICM, MEF, NPE)에서 IL-NIQE, PIQE, 노이즈 수준 지표에서 최저값을 기록하여 뛰어난 영상 품질과 노이즈 억제 능력을 입증한다.
• TITAN Xp GPU에서 600×400 영상 기준으로 7ms의 추론 시간을 기록하여 비교된 딥 러닝 방법 중 두 번째로 빠른 속도를 기록하였으며, Zero-DCE만 더 빠르다.
• λ_TV 계수를 조정함으로써 색상 채도를 자유롭게 제어할 수 있어 과도하거나 과소한 채도를 방지하며, 다양한 영상 특성에 대한 강력한 적응성을 입증하였다.
• 모델은 고노이즈 실세계 데이터셋과 저노이즈 합성 데이터셋 모두에서 뛰어난 일반화 성능을 보였으며, 일부 방법(예: KinD, Zero-DCE)이 특정 데이터 유형에서 실패하는 것과는 대조적으로 뛰어난 성능을 유지한다.
• DA 모듈은 추론 시 추가 계산 비용 없이도 효과적인 노이즈 제거와 세부 사항 유지가 가능하게 하여, 효율적이고 실용적인 프레임워크를 확보하였다.