[논문 리뷰] Progressive Retinex: Mutually Reinforced Illumination-Noise Perception Network for Low Light Image Enhancement

Yang Wang, Yang Cao외 5명|arXiv (Cornell University)|2019. 11. 26.

Image Enhancement Techniques참고 문헌 43인용 수 16

한 줄 요약

이 논문은 완전히 포인트와이즈 컨볼루션 신경망을 사용하여 조명과 노이즈를 상호 강화된 인식을 통해 저조도 영상에서 동시에 조명과 노이즈를 모델링하는 점진적 Retinex 프레임워크를 제안한다. 조명과 노이즈의 통계적 규칙성을 활용함으로써, 정량적 지표와 시각적 품질에서 기존 최고 성능(SOTA) 방법을 능가하는 뛰어난 대trast 강화 및 노이즈 억제 성능을 달성하면서도 높은 계산 효율성을 유지한다.

ABSTRACT

Contrast enhancement and noise removal are coupled problems for low-light image enhancement. The existing Retinex based methods do not take the coupling relation into consideration, resulting in under or over-smoothing of the enhanced images. To address this issue, this paper presents a novel progressive Retinex framework, in which illumination and noise of low-light image are perceived in a mutually reinforced manner, leading to noise reduction low-light enhancement results. Specifically, two fully pointwise convolutional neural networks are devised to model the statistical regularities of ambient light and image noise respectively, and to leverage them as constraints to facilitate the mutual learning process. The proposed method not only suppresses the interference caused by the ambiguity between tiny textures and image noises, but also greatly improves the computational efficiency. Moreover, to solve the problem of insufficient training data, we propose an image synthesis strategy based on camera imaging model, which generates color images corrupted by illumination-dependent noises. Experimental results on both synthetic and real low-light images demonstrate the superiority of our proposed approaches against the State-Of-The-Art (SOTA) low-light enhancement methods.

연구 동기 및 목표

• 저조도 영상 강화에서 대trast 강화와 노이즈 억제의 결합 문제를 해결하기 위해.
• 조명과 영상 노이즈의 통계적 규칙성을 모델링하여 추정 정확도를 향상시키기 위해.
• 함께 조명과 노이즈 특성을 학습함으로써 모호한 미세 무늬와 노이즈 간 간섭을 줄이기 위해.
• 완전히 포인트와이즈 컨볼루션 아키텍처를 통해 계산 효율성을 향상시키기 위해.
• 데이터 부족 문제를 해결하기 위해 카메라 이미징 모델 기반의 영상 합성 전략을 제안하기 위해.

제안 방법

• 환경 조명과 영상 노이즈의 통계적 규칙성을 각각 모델링하기 위해 두 개의 완전히 포인트와이즈 컨볼루션 신경망을 설계하였다.
• 이 네트워크들은 조명과 노이즈 인식 간 상호 강화를 가능하게 하는 점진적 Retinex 프레임워크에 통합되었다.
• 이 방법은 저조도 영상 강화를 공동 최적화 문제로 공식화한다: I = R ∘ L + n, 여기서 R은 반사율, L은 조명, n은 노이즈이다.
• 학습을 위해 조명에 따라 달라지는 노이즈를 가진 현실적인 저조도 영상을 생성하기 위해 카메라 이미징 모델 기반의 새로운 영상 합성 전략을 제안하였다.
• 프레임워크는 포인트와이즈 컨볼루션을 사용하여 CPU 및 GPU에서 고속 추론을 보장하는 높은 계산 효율성을 확보하였다.
• 후처리를 피하기 위해 노이즈 억제를 직접 강화 파이프라인에 통합함으로써 과도하거나 부족한 스무딩 문제를 줄였다.

실험 결과

연구 질문

• RQ1 조명과 노이즈를 함께 모델링하여 저조도 영상 강화 성능을 향상시킬 수 있는가?
• RQ2 조명과 노이즈 간의 상관관계를 忽시할 경우 강화 품질에 어떤 영향을 미치는가?
• RQ3 딥 네트워크를 사용하여 조명과 노이즈의 통계적 규칙성을 효과적으로 학습할 수 있는가?
• RQ4 강화 품질을 향상시키면서도 계산 효율성을 유지할 수 있는가?
• RQ5 실제 노이즈를 가진 합성 저조도 영상을 생성하여 데이터 부족 문제를 완화할 수 있는가?

주요 결과

• 제안된 방법은 합성 및 실제 저조도 데이터셋 모두에서 최고의 성능을 달성하였으며, PSNR, SSIM, FSIM 지표에서 SOTA 방법을 능가하였다.
• LOL 데이터셋에서 PSNR는 19.77, FSIM은 0.9456을 기록하여 이전 최고 성능 방법(Cai et al., 2018)을 초월하였다.
• 강화된 영상에서 잔여 노이즈를 줄여 기존 접근 방식에서 흔히 발생하는 과도하거나 부족한 노이즈 제거 문제를 방지하였다.
• CPU에서 129×129×3 영상을 0.46초, GPU에서는 0.03초에 처리하여 Cai et al., 2018의 유사한 CNN 기반 방법 대비 50배 빠른 성능을 보였다.
• 시각적 결과에서 과도한 노출이나 색조 오염이 없음을 확인하여 효과적인 조명 모델링과 노이즈 억제가 이루어졌음을 시사하였다.
• 카메라 이미징 모델 기반의 영상 합성 전략은 현실적인 조명에 따라 달라지는 노이즈를 가진 학습 데이터를 효과적으로 생성하였다.