[논문 리뷰] Bilevel Fast Scene Adaptation for Low-Light Image Enhancement

Long Ma, Dian Jin외 4명|arXiv (Cornell University)|2023. 06. 02.

Image Enhancement Techniques인용 수 6

한 줄 요약

이 논문은 저조도 영상 강화에서 빠른 적응을 위한 이중학습(fast adaptation) 프레임워크를 제안하며, 초수치 최적화를 통해 시점에 관계없는 인코더와 메타초기화된 디코더를 학습한다. 다양한 저조도 환경에서의 잠재 매개변수 대응을 모델링함으로써, 동결된 인코더 가중치와 강화된 이중학습을 통해 빠른 적응과 향상된 수렴성을 실현하며, 적응형 노이즈 제거와 이중 학습 손실을 통해 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Enhancing images in low-light scenes is a challenging but widely concerned task in the computer vision. The mainstream learning-based methods mainly acquire the enhanced model by learning the data distribution from the specific scenes, causing poor adaptability (even failure) when meeting real-world scenarios that have never been encountered before. The main obstacle lies in the modeling conundrum from distribution discrepancy across different scenes. To remedy this, we first explore relationships between diverse low-light scenes based on statistical analysis, i.e., the network parameters of the encoder trained in different data distributions are close. We introduce the bilevel paradigm to model the above latent correspondence from the perspective of hyperparameter optimization. A bilevel learning framework is constructed to endow the scene-irrelevant generality of the encoder towards diverse scenes (i.e., freezing the encoder in the adaptation and testing phases). Further, we define a reinforced bilevel learning framework to provide a meta-initialization for scene-specific decoder to further ameliorate visual quality. Moreover, to improve the practicability, we establish a Retinex-induced architecture with adaptive denoising and apply our built learning framework to acquire its parameters by using two training losses including supervised and unsupervised forms. Extensive experimental evaluations on multiple datasets verify our adaptability and competitive performance against existing state-of-the-art works. The code and datasets will be available at https://github.com/vis-opt-group/BL.

연구 동기 및 목표

• 기존의 학습 기반 저조도 영상 강화 방법이 분포 이탈로 인해 새로운 저조도 환경에서 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 다른 저조도 데이터 분포에서 학습된 인코더 간의 잠재 매개변수 대응을 탐색하여, 다양한 시점에서도 네트워크 매개변수의 유사성이 유지됨을 규명하기 위해.
• 새로운 시점에 빠르게 적응하기 위해 인코더를 동결하는 이중학습 프레임워크를 개발하여 재학습 비용을 줄이기 위해.
• 메타초기화된 디코더를 위한 강화된 이중학습 전략을 도입하여 적응 속도를 향상시키고 시각적 품질을 향상시키기 위해.
• 적응형 노이즈 제거 기능을 갖춘 리티누스 유사 아키텍처를 설계하고, 감독 및 비감독 학습 모두를 지원하여 실용성을 향상시키기 위해.

제안 방법

• 통계 분석을 통해 시점에 영향을 받지 않는 매개변수 대응을 모델링하여, 서로 다른 데이터 분포에서 유도된 인코더 가중치가 유사함을 보이며, 초수치 기반 일반화를 가능하게 한다.
• 인코더의 매개변수를 초수치로 간주하여 최적화하는 이중학습(BL) 프레임워크를 제안하며, 적응 과정에서 인코더를 동결할 수 있도록 한다.
• 시점별 디코더의 초기화를 메타학습하는 데 목적이 있는 강화된 이중학습(RBL) 프레임워크를 도입하여 수렴 속도와 적응 속도를 향상시킨다.
• 적응형 노이즈 제거 모듈이 내장된 리티누스 유도 인코더-디코더 아키텍처를 설계하여, 향상된 특징에서 노이즈 맵을 추정하고 제거한다.
• 감독(기준 영상이 있는 경우) 및 비감독(기준 영상이 없는 경우)의 두 가지 학습 모드를 지원하며, 강력한 최적화를 위해 병합된 손실 함수를 사용한다.
• 노이즈 제거 모듈을 통해 중간 특징을 제약하여, 부드러운 조명 추정과 가장자리 세부 정보의 유지가 가능하도록 학습 과정을 강화한다.

실험 결과

연구 질문

• RQ1 다양한 저조도 환경 간의 잠재 매개변수 대응을 활용하여, 인코더 재학습 없이도 신속한 적응을 이룰 수 있는가?
• RQ2 이중 최적화를 통해 다양한 저조도 조건에서 일반화 가능한 시점에 관계없는 인코더를 학습시킬 수 있는가?
• RQ3 표준 이중학습 대비 메타초기화된 디코더를 위한 강화된 이중학습 전략이 적응 속도와 시각적 품질 향상에 기여하는가?
• RQ4 적응형 노이즈 제거 모듈이 고노이즈를 동반한 실세계 저조도 영상에서 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 프레임워크는 감독 및 비감독 학습 모두에서 강력한 성능을 유지할 수 있는가?

주요 결과

• 제안된 이중학습 프레임워크는 네 가지 벤치마크 데이터셋(MIT, LOL, VOC, ExDark)에서 최신 기술 수준의 성능을 달성하며, FIDE 및 SCL보다 뛰어난 시각적 품질을 확보했다.
• LOL 데이터셋에서 적응형 노이즈 제거 모듈은 PSNR를 11.1692에서 15.4120으로, SSIM을 0.2750에서 0.4205로 향상시켜 뚜렷한 노이즈 억제 효과를 입증했다.
• VOC에서의 파인튜닝 과정에서 PSNR는 15.7692에서 16.7280으로, LPIPS는 0.2503에서 0.1987로 향상되어, 250장의 이미지만으로도 효과적인 적응이 가능함을 보였다.
• 강화된 이중학습(RBL)은 표준 이중학습 대비 더 빠른 수렴과 향상된 성능을 달성하여, 메타초기화에서의 우수성을 확인했다.
• 중간 결과에서는 부드러운 조명 추정과 가장자리 세부 정보 유지가 관찰되어, 중요한 영상 구조를 흐리게 하지 않으면서 효과적인 노이즈 억제가 이루어졌음을 시사했다.
• 절단 실험 결과, 적응형 노이즈 제거 모듈을 제거할 경우 심각한 노이즈 아티팩트가 발생함을 확인하여, 이 모듈이 강건성 향상에 핵심적인 역할을 함을 검증했다.