[논문 리뷰] Joint Enhancement and Denoising Method via Sequential Decomposition

Xutong Ren, Mading Li외 2명|arXiv (Cornell University)|2018. 04. 23.

Image Enhancement Techniques참고 문헌 7인용 수 8

한 줄 요약

이 논문은 순차적인 Retinex 기반 분해를 사용하여 저조도 강화와 노이즈 제거를 동시에 수행하는 방법을 제안한다. 먼저 조명을 추정한 후, 가중치가 부여된 기울기 행렬을 사용하여 노이즈 억제를 통한 반사율 보정을 수행한다. 이 방법은 후처리 없이도 노이즈를 줄이고 세부 사항을 유지하면서 우수한 영상 품질을 달성하여, 상태기반 기술들보다 강화 및 노이즈 제거 성능에서 뛰어나다.

ABSTRACT

Many low-light enhancement methods ignore intensive noise in original images. As a result, they often simultaneously enhance the noise as well. Furthermore, extra denoising procedures adopted by most methods ruin the details. In this paper, we introduce a joint low-light enhancement and denoising strategy, aimed at obtaining well-enhanced low-light images while getting rid of the inherent noise issue simultaneously. The proposed method performs Retinex model based decomposition in a successive sequence, which sequentially estimates a piece-wise smoothed illumination and a noise-suppressed reflectance. After getting the illumination and reflectance map, we adjust the illumination layer and generate our enhancement result. In this noise-suppressed sequential decomposition process we enforce the spatial smoothness on each component and skillfully make use of weight matrices to suppress the noise and improve the contrast. Results of extensive experiments demonstrate the effectiveness and practicability of our method. It performs well for a wide variety of images, and achieves better or comparable quality compared with the state-of-the-art methods.

연구 동기 및 목표

• 강화 과정에서 노이즈가 증폭되는 기존 저조도 강화 방법의 한계를 해결한다.
• 후처리 단계에서의 노이즈 제거 방식이 일반적으로 세부 사항을 흐리게 하거나 고노이즈 영상에서는 실패하는 문제점을 해결한다.
• 분해 과정 중에 동시에 조명을 강화하고 노이즈를 억제하는 통합 프레임워크를 개발한다.
• 조명과 반사율을 순차적으로 추정함으로써 노이즈 전파를 최소화하면서 저조도 영상의 품질을 향상시킨다.
• 추가적인 노이즈 제거 단계 없이도 최신 기술들보다 더 나은 시각적 결과를 달성한다.

제안 방법

• 순차적 분해 수행: 먼저 반사율과 독립적으로 조각별로 매끄러운 조명 맵을 추정한다.
• 원본 영상과 개선된 조명을 기반으로 가중치가 부여된 변분 모델을 사용하여 반사율 맵을 보정하며, 적응형 가중치 행렬을 통해 노이즈 억제를 실현한다.
• 조명과 반사율 양쪽에 대해 총 변동성 정규화와 대각선 가중치 행렬을 사용하여 공간적 매끄러움을 강제한다.
• 기울기 연산자를 포함한 이차 에너지 함수를 최소화하는 데서 유도된 선형 시스템을 통해 조명 추정을 해결한다.
• 최종 출력을 위해 조명 맵을 정규화한 후 감마 보정을 적용하여 밝기를 조절하고 반사율과 조합한다.
• RGB 공간에서 반사율을 강화하고 노이즈를 억제하기 위해 기울기 행렬 $W$와 $G$를 활용한다.

실험 결과

연구 질문

• RQ1 순차적 분해 방식이 동시 처리 방식에 비해 저조도 강화 과정에서 노이즈 증폭을 줄이는가?
• RQ2 제안된 방법은 저조도 조건에서 노이즈를 억제하면서도 세밀한 영상 세부 사항을 얼마나 잘 유지하는가?
• RQ3 강화와 노이즈 제거를 통합한 프레임워크가 별도의 후처리 단계에서 노이즈 제거를 수행하는 최신 기술들보다 우수한가?
• RQ4 적응형 가중치 행렬의 사용이 노이즈가 많은 저조도 영상에서 반사율 추정을 얼마나 향상시키는가?
• RQ5 BM3D와 같은 추가적인 노이즈 제거 절차 없이도 제안된 방법이 고품질의 강화 결과를 달성할 수 있는가?

주요 결과

• 후처리 노이즈 제거 없이도 LIME, SRIE, NPEA와 같은 기법들보다 제안된 방법이 훨씬 더 낮은 노이즈 수준을 보이며 향상된 영상을 생성한다.
• 시각적 비교 결과, HE, SRIE, NPEA와 달리 이 방법은 풀 텍스처나 색상 정확도 같은 국소적 세부 사항을 더 잘 유지하며, 과도하게 강화되거나 흐릿한 결과를 유발하지 않는다.
• LIME와 비교할 때 제안된 방법은 밝은 영역에서 과도한 강화를 덜 유발하여 더 나은 대비와 세부 사항 무결성을 유지한다.
• PIE 및 기타 기법에 BM3D를 적용한 후처리 방식과 비교할 때, 이 방법은 블러링과 세부 사항 손실이 흔한 후처리 파이프라인을 피하면서도 더 뛰어난 노이즈 제거 효과를 보였다.
• 광범위한 실험을 통해 이 방법은 최신 기술들과 비교해도 우수하거나 유사한 품질을 달성하며, 노이즈 제거를 강화 과정에 직접 통합함으로써 효과를 발휘한다.
• 순차적 추정 전략은 연속적인 반복 방법에 비해 더 깔끔한 조명 맵과 더 정확한 반사율을 제공하여 노이즈 전파를 줄였다.