[논문 리뷰] Retinex-inspired Unrolling with Cooperative Prior Architecture Search for Low-light Image Enhancement

Risheng Liu, Long Ma외 3명|arXiv (Cornell University)|2020. 12. 10.

Image Enhancement Techniques참고 문헌 27인용 수 59

한 줄 요약

RUAS는 Retinex에서 영감을 받은 unrolled optimization과 협력적, 참조 없는 신경망 아키텍처 검색을 통합하여 가볍고 고성능의 저조도 이미지 향상 네트워크를 구축합니다. 계산 비용이 낮은 상태에서 최첨단 결과를 입증합니다.

ABSTRACT

Low-light image enhancement plays very important roles in low-level vision field. Recent works have built a large variety of deep learning models to address this task. However, these approaches mostly rely on significant architecture engineering and suffer from high computational burden. In this paper, we propose a new method, named Retinex-inspired Unrolling with Architecture Search (RUAS), to construct lightweight yet effective enhancement network for low-light images in real-world scenario. Specifically, building upon Retinex rule, RUAS first establishes models to characterize the intrinsic underexposed structure of low-light images and unroll their optimization processes to construct our holistic propagation structure. Then by designing a cooperative reference-free learning strategy to discover low-light prior architectures from a compact search space, RUAS is able to obtain a top-performing image enhancement network, which is with fast speed and requires few computational resources. Extensive experiments verify the superiority of our RUAS framework against recently proposed state-of-the-art methods.

연구 동기 및 목표

• Texture를 보존하면서 노이즈를 감소시키는 강건한 저조도 이미지 향상을 동기부여한다.
• Retinex 기반 최적화를 unrolling하여 조명 추정과 노이즈를 각각 모델링하는 principled 네트워크를 개발한다.
• 짝지어진 데이터 없이도 조명 추정과 denoising을 위한 컴팩트한 prior 아키텍처를 자동으로 발견한다.
• 협력적 이중 수준 학습 프레임워크를 제안하여 경량이면서 효과적인 아키텍처를 탐색하고 학습시킨다.]
• method1_translation
• method2
• method3
• method4

제안 방법

• Illumination Estimation Module(IEM)과 Noise Removal Module(NRM)을 갖춘 Retinex 기반 모델을 형식화한다.
• 각 반복이 CNN 블록으로 매개변수화된 propagation 네트워크를 구축하도록 최적화 단계를 unroll한다.
• 선택 가능한 연산(1x1/3x3 conv, 잔차 합성, 확장卷積, skip 연결)을 포함하는 distillation cells를 통해 컴팩트한 탐색 공간을 정의한다.
• 협력적, 이중 수준 학습 설정에서 IEM과 NRM에 대한 아키텍처 매개변수를 도출하기 위해 differentiable NAS를 사용한다.
• 학습을 위한 참조 없는 손실을 사용한다: 충실도와 규제 항( IEM에 대해 RTV, NRM에 대해 TV ).
• IEM과 NRM 아키텍처를 공동으로 최적화하기 위한 아키텍처 매개변수에 대한 cooperative min-min 최적화를 해결한다.

실험 결과

연구 질문

• RQ1 Retinex-inspired unrolling이 저조도 향상을 위한 경량이면서도 효과적인 위계 구조를 낳을 수 있는가?
• RQ2 협력적이고 참조 없는 NAS 전략이 수작업으로 설계된 네트워크를 능가하는 조명 추정 및 노이즈 제거를 위한 컴팩트한 아키텍처를 식별할 수 있는가?
• RQ3 RUAS는 실제 세계의 저조도 시나리오에서 밝기, 질감 보존, 노이즈 억제의 균형을 어떻게 이룰 수 있는가?
• RQ4 RUAS가 탐색한 아키텍처가 최첨단 CNN과 비교하여 런타임 및 메모리 이점을 제공하는가?

주요 결과

Table 1 – Datasets / Metrics / Methods	PSNR	SSIM	MIT-Adobe 5K (PSNR)	MIT-Adobe 5K (SSIM)	LOL (PSNR)	LOL (SSIM)	Table 2 – Model Efficiency	SIZE (M)	FLOPs (G)	TIME (S)	RUAS i	RUAS i+n
MIT-Adobe 5K – PSNR (dB)		LIME 17.788	SSIM 0.826	LIME 17.788	SSIM 0.826	RUAS i (PSNR) 20.830, SSIM 0.854	0.001
MIT-Adobe 5K – PSNR (dB)	SSIM	SDD 17.617	0.792	DRBN 15.954	0.704	RUAS i+n (PSNR) 20.830, SSIM 0.854	0.003
LOL – PSNR (dB)	LOL – SSIM	LIME 14.916	0.516	SDD 15.484	0.578	KinD 14.616	0.636	Ours 18.226	0.717	Table 2 values	0.003

• RUAS는 MIT-Adobe 5K 및 LOL 데이터셋에서 모델 크기와 FLOPs가 크게 감소한 상태로도 상태-of-the-art의 PSNR/SSIM 혹은 경쟁력 있는 성능을 달성합니다.
• 협력적 탐색은 IEM과 NRM에 대한 아키텍처를 도출하여 PSNR, SSIM, 효율성 면에서 개별 혹은 순진한 결합 탐색보다 우수합니다.
• NRM을 포함하면 소음이 많은 실제 저조도 장면에서 성능이 향상됩니다.
• 탐색된 RUAS 변종(RUAS i 및 RUAS i+n)은 수작업으로 설계된 기초 모델들에 비해 크기가 작고 FLOPs가 낮으며 추론 속도가 빠릅니다.
• 정교한 warm-start 전략의 이점과 노이즈 시나리오에서 NRM의 필요성을 확인하는 제거 연구(ablation studies)가 수행되었습니다.