[논문 리뷰] Attention-guided Low-light Image Enhancement.

Feifan Lv, Feng Lu|arXiv (Cornell University)|2019. 08. 02.

Image Enhancement Techniques참고 문헌 2인용 수 22

한 줄 요약

이 논문은 다중 지연 컨볼루션 신경망을 사용한 엔드 투 엔드 주의 유도 저조도 이미지 향상 방법을 제안한다. 대규모이고 다양한 합성 데이터셋을 도입하고, 밝기 향상과 노이즈 제거를 위한 두 가지 작업별 주의 맵을 활용하여 적응형이며 고정밀도의 향상 성능을 달성하며, 정량적 및 정성적으로 최신 기술들을 능가한다.

ABSTRACT

Low-light image enhancement is challenging in that it needs to consider not only brightness recovery but also complex issues like color distortion and noise, which usually hide in the dark. Simply adjusting the brightness of a low-light image will inevitably amplify those artifacts. To address this difficult problem, this paper proposes a novel end-to-end attention-guided method based on multi-branch convolutional neural network. To this end, we first construct a synthetic dataset with carefully designed low-light simulation strategies. The dataset is much larger and more diverse than existing ones. With the new dataset for training, our method learns two attention maps to guide the brightness enhancement and denoising tasks respectively. The first attention map distinguishes underexposed regions from well lit regions, and the second attention map distinguishes noises from real textures. With their guidance, the proposed multi-branch decomposition-and-fusion enhancement network works in an input adaptive way. Moreover, a reinforcement-net further enhances color and contrast of the output image. Extensive experiments on multiple datasets demonstrate that our method can produce high fidelity enhancement results for low-light images and outperforms the current state-of-the-art methods by a large margin both quantitatively and visually.

연구 동기 및 목표

• 저조도 이미지 향상의 과제를 해결한다. 이는 밝기 복구, 색상 정확도, 노이즈 제거 간의 균형을 유지하는 것을 포함한다.
• 단순히 밝기를 높일 경우 잡음이나 아티팩트를 증폭시키는 전통적 방법의 한계를 극복한다.
• 저조도 조건에서 부족한 조도 영역, 실제 무늬, 노이즈를 구분할 수 있는 데이터 기반 접근법을 개발한다.
• 입력에 적응하는 주의 맵을 학습하여 밝기 향상 및 노이즈 제거 작업에 유연하게 대응함으로써 향상 품질을 향상시킨다.
• 향상 및 색상/대trast 정밀 조정의 공동 최적화를 통해 기존 최신 기술들을 능가하는 성능을 달성한다.

제안 방법

• 실제 저조도 환경을 더 잘 반영하기 위해 철저히 설계된 시뮬레이션 전략을 사용하여 대규모이고 다양한 합성 저조도 데이터셋을 구축한다.
• 밝기 향상 및 노이즈 제거 작업을 동시에 처리하는 다중 지연 컨볼루션 신경망을 설계하며, 두 개의 별도 주의 맵에 의해 유도된다.
• 첫 번째 주의 맵을 학습하여 어두운 영역과 잘 조명된 영역를 구분함으로써 표적적 밝기 복구가 가능하도록 한다.
• 두 번째 주의 맵을 학습하여 노이즈와 실제 무늬를 구분함으로써 세밀한 디테일을 흐리게 하지 않으면서 선택적 노이즈 제거가 가능하도록 한다.
• 최종 출력 이미지의 색상 채도와 대비를 향상시키기 위해 강화 네트워크를 통합한다.
• 고정밀도 결과를 확보하기 위해 인지적, 재구성적, 적대적 손실의 조합을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 다양한 저조도 조건을 가진 합성 데이터셋은 저조도 이미지 향상 네트워크의 일반화 능력과 성능 향상에 기여하는가?
• RQ2 작업별 주의 맵은 하나의 통합 프레임워크 내에서 밝기 향상과 노이즈 제거를 효과적으로 유도할 수 있는가?
• RQ3 학습된 주의 맵을 통한 입력에 적응하는 처리 방식은 비적응 기반 방법에 비해 무늬 보존 및 아티팩트 감소에 더 나은 성능을 보이는가?
• RQ4 강화 네트워크의 통합은 저조도 향상 이미지의 색상과 대비 품질을 추가로 향상시킬 수 있는가?
• RQ5 제안된 방법은 정량적 및 정성적으로 기존 최신 기술적 접근 방식과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 방법은 여러 벤치마크 데이터셋에서 정량적으로 뛰어난 성능을 달성하며, PSNR, SSIM, LPIPS 지표에서 기존 최신 기술들을 능가한다.
• 시각적 결과는 아티팩트를 유발하거나 무늬를 과도하게 강조하지 않으면서도 밝기 복구, 색상 정확도, 노이즈 제거 측면에서 뚜렷한 향상을 보여준다.
• 대규모이고 다양한 합성 데이터셋을 사용함으로써, 더 작은 또는 다양성이 떨어지는 데이터로 훈련된 방법에 비해 실제 저조도 환경에 대한 일반화 능력이 향상된다.
• 이중 작업 주의 메커니즘은 밝기 향상과 노이즈 제거라는 서로 다른 향상 과제를 효과적으로 분리하고 처리함으로써 더 정밀하고 적응형 처리를 가능하게 한다.
• 강화 네트워크는 색상과 대비를 성공적으로 향상시켜 더 자연스러운 결과를 만들어내며, 사용자 연구에서 선호도가 높아졌다.
• 절단 실험을 통해 두 주의 맵과 강화 네트워크가 최종 성능 향상에 기여한다는 것이 확인되었다.