[논문 리뷰] Attention Guided Low-light Image Enhancement with a Large Scale Low-light Simulation Dataset

Feifan Lv, Yu Li외 1명|arXiv (Cornell University)|2019. 08. 02.

Image Enhancement Techniques참고 문헌 81인용 수 47

한 줄 요약

본 논문은 대규모 합성 저조도 데이터셋으로 학습된, 동시에 저조도 향상과 노이즈 제거를 수행하는 엔드투엔드, 주의(attention) 지향 멀티-브랜치 네트워크를 제안한다.

ABSTRACT

Low-light image enhancement is challenging in that it needs to consider not only brightness recovery but also complex issues like color distortion and noise, which usually hide in the dark. Simply adjusting the brightness of a low-light image will inevitably amplify those artifacts. To address this difficult problem, this paper proposes a novel end-to-end attention-guided method based on multi-branch convolutional neural network. To this end, we first construct a synthetic dataset with carefully designed low-light simulation strategies. The dataset is much larger and more diverse than existing ones. With the new dataset for training, our method learns two attention maps to guide the brightness enhancement and denoising tasks respectively. The first attention map distinguishes underexposed regions from well lit regions, and the second attention map distinguishes noises from real textures. With their guidance, the proposed multi-branch decomposition-and-fusion enhancement network works in an input adaptive way. Moreover, a reinforcement-net further enhances color and contrast of the output image. Extensive experiments on multiple datasets demonstrate that our method can produce high fidelity enhancement results for low-light images and outperforms the current state-of-the-art methods by a large margin both quantitatively and visually.

연구 동기 및 목표

• 강건한 저조도 향상을 동기화하여 밝기는 회복시키되 노이즈 및 색상 왜곡은 억제한다.
• Paired ground-truth 이미지와 주석이 포함된 대규모 고충실도 합성 저조도 데이터셋을 구축한다.
• 노출 맵과 노이즈 맵의 가이드를 받으며 노이즈 제거와 향상을 공동으로 수행하는 주의-가이드 멀티-브랜치 CNN 아키텍처를 개발한다.
• 두 번째 강화 단계(reinforcement step)를 통해 색상, 대비 및 디테일 재구성을 향상시킨다.
• 정량적 및 시각적 개선으로 다수 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 정상 조명 이미지에서 현실적인 저조도 이미지를 합성하는 대규모 저조도 시뮬레이션 파이프라인을 구성하되 가우시안-포아송 혼합 노이즈 모델을 포함한다.
• 네 가지 서브네트로 구성된 엔드투엔드 네트워크를 제안한다: Attention-Net, Noise-Net, Enhancement-Net, 및 Reinforce-Net.
• 언더노출 영역을 식별하고 노출 guided 정보로부터 노이즈 맵을 도출하기 위해 ue-attention 맵을 사용한다.
• 주의 신호에 의해 가이드되는 다중 향상 모듈(EM)들의 출력을 융합하는 다-브랜치 Enhancement-Net을 구현한다.
• 최종 출력의 대비와 디테일을 개선하기 위해 dilated convolution을 갖춘 Reinforce-Net을 적용한다.
• Attention-Net, Noise-Net, Enhancment-Net, Reinforce-Net 구성 요소와 각 항들을 포함하는 합성 손실(밝기, 구조적, 지각적, 지역적)을 사용하여 학습한다.

실험 결과

연구 질문

• RQ1 저노출 영역과 노이즈 분포를 어떻게 효과적으로 추정하고 이를 동시에 향상 및 노이즈 제거에 활용할 수 있는가?
• RQ2 대규모 합성 저조도 데이터셋이 다양한 장면과 노출 수준에서 향상 모델의 일반화에 기여하는가?
• RQ3 주의 가이드를 갖춘 다-브랜치 네트워크가 단일 브랜치 또는 계단식 denoising+enhancement 접근법보다 저조도 조건에서 성능이 우수한가?
• RQ4 강화 단계가 초기 향상 결과를 넘어 색상과 대비를 개선하는가?

주요 결과

• 제안된 방법은 높은 충실도 향상을 달성하고 다수의 데이터셋에서 최첨단 방법 대비 큰 폭으로 우수한 성능을 보인다.
• UE-attention 맵은 향상을 저노출 영역으로 효과적으로 가이드하고 적응형 denoising을 위한 노이즈 맵 도출을 도와준다.
• Attention-Net 및 Noise-Net 출력으로 가이드되는 다-브랜치 Enhancement-Net은 동시에 denoising과 향상을 가능하게 한다.
• Reinforce-Net은 색상과 대비를 향상시켜 회귀 기반 접근법에서 흔히 발생하는 저대비 아티팩트를 해결한다.
• 합성 데이터셋은 다양한 노출 수준, 현실적인 노이즈, 훈련 및 평가에 호환 가능한 ground truth를 제공한다.