[논문 리뷰] Low-Light Image and Video Enhancement: A Comprehensive Survey and Beyond

Shen Zheng, Yiling Ma외 3명|arXiv (Cornell University)|2022. 12. 21.

Image Enhancement Techniques인용 수 15

한 줄 요약

이 논문은 혼합 과노출/미노출 저조도 이미지에 적합한 두 가지 새로운 데이터셋—SICE_Grad 및 SICE_Mix—과 고해상도이자 다양한 저조도 영상 자료인 Night Wenzhou를 소개하며, 저조도 이미지 및 영상 향상(LLIE) 기법에 대한 종합적인 조사도 수행한다. 최신 기술을 평가하고 핵심 과제를 규명하며 딥러닝 기반 LLIE 분야의 향후 연구 방향을 제시하며, 실생활 적용 가능성과 벤치마킹을 강조한다.

ABSTRACT

This paper presents a comprehensive survey of low-light image and video enhancement, addressing two primary challenges in the field. The first challenge is the prevalence of mixed over-/under-exposed images, which are not adequately addressed by existing methods. In response, this work introduces two enhanced variants of the SICE dataset: SICE_Grad and SICE_Mix, designed to better represent these complexities. The second challenge is the scarcity of suitable low-light video datasets for training and testing. To address this, the paper introduces the Night Wenzhou dataset, a large-scale, high-resolution video collection that features challenging fast-moving aerial scenes and streetscapes with varied illuminations and degradation. This study also conducts an extensive analysis of key techniques and performs comparative experiments using the proposed and current benchmark datasets. The survey concludes by highlighting emerging applications, discussing unresolved challenges, and suggesting future research directions within the LLIE community. The datasets are available at https://github.com/ShenZheng2000/LLIE_Survey.

연구 동기 및 목표

• 현재의 LLIE 기법이 낮은 성능을 보이는 현실적인 혼합 과노출/미노출 저조도 이미지 데이터셋의 부족을 해결하기 위해.
• 학습 및 평가를 위한 대규모 고해상도 저조도 영상 데이터셋의 부족을 해결하기 위해.
• LLIE 분야의 학습 전략, 네트워크 아키텍처, 손실 함수, 평가 지표에 대한 체계적인 리뷰를 제공하기 위해.
• 저조도 향상 분야에서의 새로운 응용 사례와 해결되지 않은 과제를 분석하고, 특히 검출 및 악천후 조건과 같은 통합 작업에서의 영향을 고려하기 위해.
• 제안된 데이터셋과 기존 데이터셋을 통합한 통합 벤치마킹 프레임워크를 제공하여 LLIE 기법의 평가 및 비교를 가능하게 하기 위해.

제안 방법

• SICE 데이터셋의 향상된 변종인 SICE_Grad 및 SICE_Mix를 제안하여, 기울기 및 복잡한 조명 변화를 포함한 현실적인 혼합 노출 시나리오를 특별히 고려하도록 설계함.
• 저조도 조건과 다양한 왜곡을 겪는 빠르게 움직이는 항공 및 도로 영상이 포함된 대규모 고해상도 영상 데이터셋인 Night Wenzhou를 도입함.
• LLIE 분야의 학습 전략에 대한 계층적 분류 체계를 수립하여, 지도 학습, 비지도 학습, 준지도 학습, 제로샷 학습 접근 방식으로 방법을 분류함.
• 기존 및 제안된 데이터셋을 대상으로 광범위한 비교 실험을 수행하여 다양한 LLIE 기법과 손실 함수의 성능을 평가함.
• LLIE 파이프라인의 핵심 구성 요소를 분석하며, 네트워크 아키텍처(예: U-Net, 다중 해상도, 주의 기반), 손실 함수(예: L2, 인지적, VGG 기반), 평가 지표(예: PSNR, SSIM, NIQE, LPIPS)를 포함함.
• 저조도 환경에서의 새로운 추세를 탐색하며, 통합 향상 및 검출, 근적외선(NIR) 영상, 노이즈 모델링, 악천후 조건 등을 다룸.

실험 결과

연구 질문

• RQ1 현재의 LLIE 기법은 혼합 과노출/미노출 이미지에서 어떻게 성능을 내며, 기존 데이터셋의 한계는 무엇인가?
• RQ2 효과적인 저조도 영상 향상 모델 개발에 있어 핵심 과제는 무엇이며, 더 나은 데이터로 이를 어떻게 해결할 수 있는가?
• RQ3 지도 학습, 제로샷 학습, 비지도 학습 등의 다양한 학습 전략은 실생활 저조도 데이터에서 성능 및 일반화 능력 측면에서 어떻게 비교되는가?
• RQ4 자연스러운 외관과 세부 사항을 유지하면서 저조도 이미지 및 영상 향상에 가장 효과적인 네트워크 아키텍처와 손실 함수는 무엇인가?
• RQ5 통합 향상 및 검출, NIR 영상, 노이즈 모델링은 LLIE 시스템의 강건성과 실생활 적용 가능성을 어떻게 향상시킬 수 있는가?

주요 결과

• 제안된 SICE_Grad 및 SICE_Mix 데이터셋은 복잡한 노출 변화를 효과적으로 포착하며, 기존 LLIE 기법이 혼합 노출 시나리오에서 심각한 성능 저하를 보이는 것으로 드러남.
• Night Wenzhou 영상 데이터셋은 고해상도 동적 저조도 영상 향상에 도전적인 벤치마크를 제공하며, 빠른 움직임과 변동하는 조명 조건을 특징으로 함.
• 지도 학습 기반 방법은 벤치마크 데이터셋에서 최상의 성능을 기록하지만, 새로운 복잡한 저조도 조건으로의 일반화 능력은 여전히 제한되어 있음.
• 제로샷 및 비지도 학습 기반 방법은 일반화 능력 측면에서 잠재력을 보이지만, 일반적으로 표준 벤치마크에서 지도 학습 모델에 비해 정량적 지표에서 뒤지게 됨.
• 조명 할당 기반의 통합 향상 및 검출 아키텍처는 저조도 객체 검출에서 향상된 성능을 보이며, 저조도 전용 애너테이션을 요구하지 않음.
• 근적외선(NIR) 영상 기법은 플래시 없이 낮은 노이즈로 향상 가능성을 보이며, 최적의 결과를 얻기 위해서는 RGB-NIR 동기 촬영과 고도의 융합 알고리즘이 필요함.