[논문 리뷰] Low-Light Image and Video Enhancement Using Deep Learning: A Survey

Chongyi Li, Chunle Guo외 5명|arXiv (Cornell University)|2021. 04. 21.

Image Enhancement Techniques참고 문헌 17인용 수 30

한 줄 요약

본 연구는 딥 러닝 기반의 저광 이미지 및 비디오 향상 방법, 데이터셋, 손실 함수 및 플랫폼을 검토하고 새로운 데이터셋과 온라인 평가 플랫폼을 소개합니다.

ABSTRACT

Low-light image enhancement (LLIE) aims at improving the perception or interpretability of an image captured in an environment with poor illumination. Recent advances in this area are dominated by deep learning-based solutions, where many learning strategies, network structures, loss functions, training data, etc. have been employed. In this paper, we provide a comprehensive survey to cover various aspects ranging from algorithm taxonomy to open issues. To examine the generalization of existing methods, we propose a low-light image and video dataset, in which the images and videos are taken by different mobile phones' cameras under diverse illumination conditions. Besides, for the first time, we provide a unified online platform that covers many popular LLIE methods, of which the results can be produced through a user-friendly web interface. In addition to qualitative and quantitative evaluation of existing methods on publicly available and our proposed datasets, we also validate their performance in face detection in the dark.This survey together with the proposed dataset and online platform could serve as a reference source for future study and promote the development of this research field. The proposed platform and dataset as well as the collected methods, datasets, and evaluation metrics are publicly available and will be regularly updated.

연구 동기 및 목표

• 딥 러닝 LLIE 방법에 사용되는 학습 전략, 네트워크 아키텍처, 손실 함수 및 데이터셋을 조사한다.
• 실제 저광 환경으로의 일반화 가능성을 분석하고 미해결 문제를 식별한다.
• 교차 기기 조명 조건을 갖는 새로운 저광 이미지/비디오 데이터셋과 평가를 위한 온라인 플랫폼을 도입한다.
• LLIE 연구를 발전시키고 벤치마킹을 용이하게 하는 가이드라인과 통찰을 제공한다.

제안 방법

• 학습 전략에 따라 LLIE 방법을 분류한다(감독 학습, 강화 학습, 비지도, 제로샷, 반지도).
• 대표적인 엔드-투-엔드, 딥 Retinex 기반, 현실적 데이터 주도 감독 학습 접근 방식을 논의한다.
• 조명 추정 및 반사 구성 요소를 추정하는 Retinex 영감 및 기타 네트워크 설계를 설명한다.
• 실세계 교차기기 LLIE 데이터셋과 비디오 LLIE 데이터셋, 그리고 가능할 경우 반지도 및 제로샷 접근법을 제시한다.
• 입력 이미지에 대해 다수의 LLIE 방법을 GPU 없이도 사용하기 쉬운 온라인 평가 플랫폼을 도입한다.
• 재구성, 지각, 매끄러움, 적대적, 노출 등 일반적으로 사용되는 손실 함수 및 데이터 형식(RGB 및 raw)을 요약한다.

실험 결과

연구 질문

• RQ1 깊은 학습 LLIE 방법이 실제 교차 기기 저광 데이터에 일반화될 수 있는가?
• RQ2 다양한 조건에서 견고한 LLIE 성능을 가져오는 학습 전략, 네트워크 설계 및 손실 함수는 무엇인가?
• RQ3 Retinex 기반 모델이 실제에 이점이 있으며 딥 네트워크와 결합될 때의 한계는 무엇인가?
• RQ4 통합 온라인 플랫폼 및 다양한 데이터셋이 LLIE 연구 및 벤치마킹을 가속화할 수 있는가?

주요 결과

• 감독 학습이 여전히 주류 접근법이며 분석된 방법의 73%를 차지한다.
• 네트워크 구조의 혼합이 사용되며, U-Net 유사 및 다분기 구조가 일반적이다; Retinex 영감 디자인이 널리 탐구된다.
• RGB가 지배적인 데이터 형식이지만, RAW 데이터는 HDR 및 색상 충실도 개선에 가치가 있다.
• 재구성(L1/L2), SSIM, 지각, 매끄러움 등 일반적인 손실과 노출 손실 등 비참조 손실이 일반화를 위해 중요하다.
• 실제 데이터셋(SID, DRV, MIT-Adobe FiveK 등)과 합성 데이터 전략이 일반화를 개선하는데 논의되었고 온라인 플랫폼과 새로운 교차 기기 LLIE 데이터셋이 벤치마크로 도입되었다.
• 본 설문은 어둠 속 얼굴 인식에서의 방법을 검증하여 LLIE가 고수준 비전 과제에 미치는 영향을 강조한다.