[논문 리뷰] LLNet: A Deep Autoencoder Approach to Natural Low-light Image Enhancement

Kin Gwn Lore, Adedotun Akintayo외 1명|arXiv (Cornell University)|2015. 11. 12.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 저조도 영상에서 노이즈를 감소시키고 대trast를 동시에 향상시키며 밝은 영역을 과도하게 증폭시키지 않는 딥 스태킹 스퍼스 노이즈 제거 오토에인코더인 LLNet을 제안한다. 합성적으로 어두워지고 노이즈가 첨가된 영상으로 훈련된 LLNet은 히스토GRAM 균형화 및 BM3D와 같은 전통적 방법보다 뛰어난 성능을 보이며 다양한 조명 및 노이즈 조건에서 일관된 결과를 제공한다.

ABSTRACT

In surveillance, monitoring and tactical reconnaissance, gathering the right visual information from a dynamic environment and accurately processing such data are essential ingredients to making informed decisions which determines the success of an operation. Camera sensors are often cost-limited in ability to clearly capture objects without defects from images or videos taken in a poorly-lit environment. The goal in many applications is to enhance the brightness, contrast and reduce noise content of such images in an on-board real-time manner. We propose a deep autoencoder-based approach to identify signal features from low-light images handcrafting and adaptively brighten images without over-amplifying the lighter parts in images (i.e., without saturation of image pixels) in high dynamic range. We show that a variant of the recently proposed stacked-sparse denoising autoencoder can learn to adaptively enhance and denoise from synthetically darkened and noisy training examples. The network can then be successfully applied to naturally low-light environment and/or hardware degraded images. Results show significant credibility of deep learning based approaches both visually and by quantitative comparison with various popular enhancing, state-of-the-art denoising and hybrid enhancing-denoising techniques.

연구 동기 및 목표

• 감도 범위가 넓고 노이즈가 있는 저조도 영상의 향상 문제를 해결한다. 특히 감시 및 정찰 응용 분야에서의 적용을 목적으로 한다.
• 밝은 영역을 과도하게 증폭시키거나 수동적인 파rameter 조정이 필요한 전통적 향상 방법의 한계를 극복한다.
• 합성 훈련 데이터로부터 불변 신호 특징과 노이즈 구조를 학습하는 딥 러닝 기반 접근법을 개발한다.
• 카메라나 환경 파rameter에 대한 사전 지식 없이도 실시간으로 차량 내에서 영상 향상을 수행할 수 있도록 한다.
• 소비자용 카메라로 촬영한 실제 저조도 영상에 대해 합성 훈련된 모델의 일반화 능력을 입증한다.

제안 방법

• 비지도 학습 방식으로 저조도 영상에서 기저 신호 특징과 노이즈 구조를 학습하기 위해 스택드 스퍼스 노이즈 제거 오토에인코더(스태킹된 스퍼스 노이즈 제거 오토에인코더, SSDA)를 사용한다.
• 감마 보정을 이용해 인위적으로 어두워지고 가우시안 노이즈가 첨가된 이미지로 구성된 합성 열화된 이미지 데이터를 사용하여, 게리쉬한 레이어별 사전 훈련 전략을 적용해 네트워크를 훈련시킨다.
• 지역적 경로 기반 대trast 향상 기법을 적용하여 기존에 밝은 픽셀이 과도하게 증폭되지 않도록 하여 자연스러운 향상 결과를 확보한다.
• 두 가지 아키텍처를 탐색한다: LLNet(대trast 향상과 노이즈 제거를 동시에 학습하는 모델)과 S-LLNet(두 개의 별도 모듈을 통해 단계적으로 학습하는 모델).
• 입력-은닉 레이어 가중치를 그림으로 시각화하여 대trast 향상에 대해 뿌연 형태의 구조가, 노이즈 제거에 대해 더 섬세한 무늬의 구조가 나타남을 확인한다.
• HE, CLAHE, 감마 보정, BM3D와의 비교를 위해 합성 및 실제 저조도 테스트 영상에서 PSNR 및 SSIM을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 오토에인코더는 저조도 영상의 동시에 노이즈 제거 및 국소 대trast 유지 기능을 효과적으로 학습할 수 있는가?
• RQ2 단일 네트워크에서 대trast 향상과 노이즈 제거를 동시에 학습하는 LLNet와 두 단계로 나누어 학습하는 S-LLNet 간의 성능 및 특징 전문화도는 어떻게 비교되는가?
• RQ3 합성된 저조도 및 노이즈가 첨가된 데이터로 훈련된 모델이 소비자용 카메라로 촬영한 실제 저조도 영상에 얼마나 잘 일반화되는가?
• RQ4 오토에인코더가 어떤 특징을 학습하는가? 이 특징들은 기저 영상 구조와 열화 패턴과 어떻게 관련되어 있는가?
• RQ5 기존의 강조 기법과 비교해 딥 러닝 기반 접근법은 수동적인 파rameter 조정이 필요 없어지는가?

주요 결과

• LLNet 및 S-LLNet는 다양한 조명 및 노이즈 조건에서 히스토GRAM 균형화, CLAHE, 감마 보정, BM3D와 비교해 정량적 지표와 시각적 품질 면에서 모두 뛰어난 성능을 보였다.
• S-LLNet는 높은 노이즈 수준에서 특수화된 특징 학습 덕분에 더 뛰어난 성능을 기록했으며, 뚜렷한 뿌연 형태의 무늬와 섬세한 무늬의 가중치 패턴이 이를 뒷받침한다.
• 모델는 소비자용 스마트폰 카메라로 촬영한 실제 저조도 영상에 대해 잘 일반화되어 있으며, 도메인 특화 조정 없이도 강건함을 입증했다.
• 학습된 가중치의 시각화 결과, 대trast 향상은 국소적 맥락적 특징에 의존하는 반면, 노이즈 제거 기능은 더 넓은 전반적인 스케일에서 작용하는 것으로 나타났다.
• 절도적 패치 크기 조합에서 최적의 성능을 기록했으며, 이는 아블레이션 연구에서 최고의 PSNR 및 SSIM 값으로 확인되었다.
• 딥 오토에인코더 기반 접근법은 추론 시 수동적인 파rameter 조정이 필요 없음을 입증하여 자원 제약이 있는 환경에서 실시간 차량 내 배포가 가능하게 했다.