[논문 리뷰] Toward Fast, Flexible, and Robust Low-Light Image Enhancement

Long Ma, Tengyu Ma외 3명|arXiv (Cornell University)|2022. 04. 21.

Image Enhancement Techniques인용 수 53

한 줄 요약

The paper introduces Self-Calibrated Illumination (SCI), a lightweight framework that uses weight-sharing cascaded illumination learning plus a self-calibrated module to achieve fast, robust, unsupervised low-light image enhancement and improve downstream tasks.

ABSTRACT

Existing low-light image enhancement techniques are mostly not only difficult to deal with both visual quality and computational efficiency but also commonly invalid in unknown complex scenarios. In this paper, we develop a new Self-Calibrated Illumination (SCI) learning framework for fast, flexible, and robust brightening images in real-world low-light scenarios. To be specific, we establish a cascaded illumination learning process with weight sharing to handle this task. Considering the computational burden of the cascaded pattern, we construct the self-calibrated module which realizes the convergence between results of each stage, producing the gains that only use the single basic block for inference (yet has not been exploited in previous works), which drastically diminishes computation cost. We then define the unsupervised training loss to elevate the model capability that can adapt to general scenes. Further, we make comprehensive explorations to excavate SCI's inherent properties (lacking in existing works) including operation-insensitive adaptability (acquiring stable performance under the settings of different simple operations) and model-irrelevant generality (can be applied to illumination-based existing works to improve performance). Finally, plenty of experiments and ablation studies fully indicate our superiority in both quality and efficiency. Applications on low-light face detection and nighttime semantic segmentation fully reveal the latent practical values for SCI. The source code is available at https://github.com/vis-opt-group/SCI.

연구 동기 및 목표

• 현실 세계의 미지의 시나리오에서도 잘 작동하는 빠르고 경량의 저조도 이미지 향상 프레임워크를 개발한다.
• 가중치 공유와 self-calibrated 기제를 통해 계산 비용을 줄이면서 견고한 성능을 달성한다.
• 다양한 장면에 적응하고 일반화를 향상시키기 위해 비지도 학습을 가능하게 한다.
• 다크-페이스 탐지 및 야간 의미 분할과 같은 하류 작업을 통해 실용적 가치를 입증한다.

제안 방법

• 조명을 학습하는 과정을 cascaded 잔차 프로세스로 형상화하고 각 스테이지에 걸쳐 공유 블록을 두어 빠른 추론을 가능하게 한다.
• 각 스테이지의 입력을 보강하여 스테이지 출력의 수렴을 촉진하는 self-calibrated 모듈을 도입한다.
• 쌍 데이터 없이 학습하기 위해 충실도와 공간적으로 가변 스무싱을 결합한 비지도 손실 함수를 정의한다.
• 조명을 추정하기 위해 잔차 조명 학습 유닛을 사용하여 안정성과 효율성을 높인다.
• self-calibrated 모듈이 기존의 조명 기반 네트워크와 통합되어 성능을 향상시킬 수 있음을 보여주며(모델과 무관한 일반성).

실험 결과

연구 질문

• RQ1 SCI가 cascaded 단계 간 가중치를 공유하면서 품질을 유지하거나 개선하여 저조도 향상을 가속화할 수 있는가?
• RQ2 self-calibrated 모듈이 단계 출력의 수렴을 강제하고 다양한 장면 및 간단한 연산자 설정에서 견고성을 향상시키는가?
• RQ3 향상과 결합되었을 때 어두운 얼굴 탐지 및 야간 의미 분할과 같은 하류 작업에서 프레임워크가 효과적인가?
• RQ4 쌍되는 그라운드 트루스 없이 지도 없이 학습 손실이 조명 추정을 얼마나 잘 이끌 수 있는가?
• RQ5 SCI가 제안된 아키텍처를 넘어 다른 조명 기반 방법에도 일반화될 수 있는가?

주요 결과

• SCI는 많은 CNN 기반 방법에 비해 계산이 크게 낮으면서도 경쟁력 있는 시각적 품질을 달성한다.
• self-calibrated 모듈은 수렴하는 스테이지 출력을 제공하여 빠른 속도를 위해 단일 블록으로 테스트가 가능하게 한다.
• SCI는 기존의 조명 기반 방법(RUAS 등)을 통합하여 성능을 향상시킬 수 있어 모델-무관한 일반성을 시사한다.
• 어두운 얼굴 탐지 및 야간 의미 분할에의 적용은 이미지 향상 이상의 실용적 이점을 보여준다.
• 프레임워크는 서로 다른 간단한 연산자 설정에서도 안정적인 성능을 유지하여 작동에 대한 민감도가 낮다.