[논문 리뷰] ReLLIE: Deep Reinforcement Learning for Customized Low-Light Image Enhancement

Rongkai Zhang, Lanqing Guo외 2명|arXiv (Cornell University)|2021. 07. 13.

Image Enhancement Techniques참고 문헌 29인용 수 7

한 줄 요약

ReLLIE는 쌍화된 훈련 데이터 없이 사용자 맞춤형 저조도 이미지 향상 기능을 구현하기 위해 순차적이고 정책 기반의 곡선 추정 과정으로서 향상을 모델링하는 딥 강화학습 프레임워크를 제안한다. 비기준 손실 함수와 경량 네트워크를 사용하여 확률적 정책을 학습함으로써, 다양한 사용자 선호도에 맞게 영구적으로 조정 가능한 향상을 가능하게 하며, 제로샷 및 비지도 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Low-light image enhancement (LLIE) is a pervasive yet challenging problem, since: 1) low-light measurements may vary due to different imaging conditions in practice; 2) images can be enlightened subjectively according to diverse preferences by each individual. To tackle these two challenges, this paper presents a novel deep reinforcement learning based method, dubbed ReLLIE, for customized low-light enhancement. ReLLIE models LLIE as a markov decision process, i.e., estimating the pixel-wise image-specific curves sequentially and recurrently. Given the reward computed from a set of carefully crafted non-reference loss functions, a lightweight network is proposed to estimate the curves for enlightening of a low-light image input. As ReLLIE learns a policy instead of one-one image translation, it can handle various low-light measurements and provide customized enhanced outputs by flexibly applying the policy different times. Furthermore, ReLLIE can enhance real-world images with hybrid corruptions, e.g., noise, by using a plug-and-play denoiser easily. Extensive experiments on various benchmarks demonstrate the advantages of ReLLIE, comparing to the state-of-the-art methods.

연구 동기 및 목표

• 기존의 일대일 이미지 번역 방법이 저조도 이미지 향상(LLIE)에서 다양한 조명 조건과 사용자 선호도를 처리하지 못하는 한계를 해결하기 위해.
• 사용자 선호도에 맞는 맞춤형 향상을 가능하게 하기 위해 향상 단계 수를 영구적으로 제어할 수 있도록 하는 방법을 개발하기 위해.
• 쌍화된 또는 비쌍화된 훈련 데이터가 필요 없도록 하기 위해, 강화학습 프레임워크 내에서 비기준 손실 함수를 보상 신호로 활용하기 위해.
• 플러그 앤 플레이 노이즈 제거기들을 향상 파이프라인에 통합하여 혼합 오염(예: 노이즈)에 대한 강건성을 향상시키기 위해.
• 채널 비율 일관성 손실(CRL) 및 채널 의존성 동역학 업데이트(CDMU)와 같은 새로운 구성 요소를 통해 모델 안정성과 시각적 품질을 향상시키기 위해.

제안 방법

• ReLLIE는 저조도 이미지 향상을 마르코프 결정 과정(Markov decision process)으로 모델링하여, 정책 네트워크가 다수의 단계에 걸쳐 이미지 특화의 2차 곡선을 순차적으로 추정한다.
• 정책는 입력 이미지를 처리하고 반복적으로 향상 곡선을 출력하는 경량의 완전 컨volution 네트워크를 사용하여 학습된다.
• 기본 진짜 데이터 없이도 지도 학습을 유도하기 위해, 제안된 채널 비율 일관성 손실(CRL)을 포함한 손실 함수 집합을 사용하여 비기준 보상 함수를 구성한다.
• 채널 의존성 동역학 업데이트(CDMU) 모듈은 채널별로 모멘텀을 적응시키므로써 학습을 안정화시키고 색상 일관성을 향상시킨다.
• 향상 유도 보정(RF) 모듈은 후행적으로 통합되어 추가 노이즈를 억제하며, 혼합 오염에 효과적으로 대응할 수 있도록 한다.
• 테스트 시에 훈련 단계 수를 초월하는 임의의 수의 향상 단계를 허용함으로써, 제로샷 및 비지도 추론을 지원한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크는 일대일 번역 모델 대비 저조도 이미지 향상에서 더 높은 맞춤화 성능을 달성할 수 있는가?
• RQ2 비기준 손실 함수는 쌍화된 훈련 데이터 없이도 강화학습 에이전트를 저조도 향상에 효과적으로 학습시키는 데에 유용한가?
• RQ3 제안된 정책 기반 접근법은 다양한 수준의 이미지 열화와 사용자 선호도를 영구적인 단계 수 제어를 통해 처리할 수 있는가?
• RQ4 CRL, CDMU, RF와 같은 신규 구성 요소들이 시각적 품질 향상과 강건성 향상에 얼마나 효과적인가?
• RQ5 ReLLIE는 노이즈 및 저조도와 같은 혼합 오염을 포함한 실제 환경 이미지로 일반화 가능한가?

주요 결과

• 모든 구성 요소(CRL, CDMU, RF)를 사용할 경우 ReLLIE는 LOL 데이터셋에서 PSNR 19.52 dB를 달성하여 기준 모델의 7.76 dB에서 크게 향상되었다.
• CRL 및 CDMU의 포함으로 색조 왜곡이 감소하고 SSIM이 0.3798에서 0.8268로 향상되어 색상 정확도 향상이 확인되었다.
• RF 모듈은 질적 비교를 통해 노이즈 제거에 효과적임을 입증하였으며, RF를 포함한 ReLLIE는 그렇지 않은 경우보다 더 선명하고 깔끔한 결과를 생성한다.
• LIME 데이터셋에서의 사용자 연구 결과, ReLLIE는 Zero-DCE 및 EnlightenGAN 대비 65%의 참가자에게 선호되었으며, 특히 N=4 및 N=6 향상 단계에서 두드러진 성능을 보였다.
• ReLLIE는 제로샷 및 비지도 LLIE 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 쌍화된 또는 비쌍화된 데이터에 의존하는 기존 방법들을 능가하였다.
• 프레임워크는 추론 시에 임의의 향상 단계를 지원하여 진정한 맞춤화를 가능하게 하였으며, 예를 들어 훈련 시 N=6로 설정되었더라도 N=8 단계로 이미지를 향상시킬 수 있다.