[논문 리뷰] R2RNet: Low-light Image Enhancement via Real-low to Real-normal Network

Hai Jiang, Xuan Zhu외 5명|arXiv (Cornell University)|2021. 06. 28.

Image Enhancement Techniques참고 문헌 53인용 수 17

한 줄 요약

R2RNet는 저조도 영상 강화를 위한 새로운 Retinex 기반 딥러닝 프레임워크를 제안하며, 영상을 조명 및 반사도 맵으로 분해하고 반사도 맵을 노이즈 제거하며 공간 및 주파수 도메인 특징을 활용해 대trast를 향상시킨다. 이는 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 처음으로 대규모 실생활 쌍체 저조도/정상조도 데이터셋(LSRW)을 통해 당면하는 얼굴 검출 정확도를 크게 향상시킨다.

ABSTRACT

Images captured in weak illumination conditions could seriously degrade the image quality. Solving a series of degradation of low-light images can effectively improve the visual quality of images and the performance of high-level visual tasks. In this study, a novel Retinex-based Real-low to Real-normal Network (R2RNet) is proposed for low-light image enhancement, which includes three subnets: a Decom-Net, a Denoise-Net, and a Relight-Net. These three subnets are used for decomposing, denoising, contrast enhancement and detail preservation, respectively. Our R2RNet not only uses the spatial information of the image to improve the contrast but also uses the frequency information to preserve the details. Therefore, our model acheived more robust results for all degraded images. Unlike most previous methods that were trained on synthetic images, we collected the first Large-Scale Real-World paired low/normal-light images dataset (LSRW dataset) to satisfy the training requirements and make our model have better generalization performance in real-world scenes. Extensive experiments on publicly available datasets demonstrated that our method outperforms the existing state-of-the-art methods both quantitatively and visually. In addition, our results showed that the performance of the high-level visual task (i.e. face detection) can be effectively improved by using the enhanced results obtained by our method in low-light conditions. Our codes and the LSRW dataset are available at: https://github.com/abcdef2000/R2RNet.

연구 동기 및 목표

• 합성 데이터셋에 의존하는 기존 저조도 영상 강화 방법의 한계를 해결하고 실생활 장면에 일반화되지 못하는 문제를 해결한다.
• 저조도 조건에서 대비 향상, 노이즈 억제, 미세한 디테일 보존을 동시에 개선함으로써 영상 품질을 향상시킨다.
• 저조도 영상 강화가 얼굴 검출과 같은 고수준 비전 작업의 성능을 크게 향상시킬 수 있음을 입증한다.
• 더 나은 일반화 성능를 위해 딥러닝 모델 훈련을 지원하는 대규모 실생활 쌍체 데이터셋(LSRW)을 개발한다.
• 재조명 단계에서 주파수 도메인 처리를 통합하여 대비 유지와 잡음 감소를 동시에 달성하면서도 이미지 디테일을 보존한다.

제안 방법

• 레티녹스 이론에 기반해 입력 저조도 영상에서 조명 및 반사도 맵으로 분리하는 Decom-Net을 제안한다.
• 조명 맵을 공간 제약 조건으로 사용해 반사도 맵의 노이즈를 억제하는 Denoise-Net을 적용하며, 구조적 무결성을 유지한다.
• 조명 조정을 위한 공간 특징과 고속 푸리에 변환을 통한 주파수 도메인 특징을 조합해 대비와 밝기를 향상시키는 Relight-Net을 사용한다.
• 노이즈를 증폭시키지 않으면서도 고주파 수준의 디테일 복구를 유도하기 위해 주파수 손실 함수를 도입한다.
• 시각적 품질과 구조적 충실도를 확보하기 위해 인지적 손실 및 재구성 손실을 사용해 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 기존의 합성 데이터에서의 도메인 스플릿 문제를 방지하고 모델 일반화를 향상시키기 위해 새로운 대규모 실생활 쌍체 데이터셋(LSRW)을 활용한다.

실험 결과

연구 질문

• RQ1 공간 및 주파수 도메인 처리를 통합한 딥러닝 모델이 기존 방법에 비해 열등한 저조도 영상 강화 성능을 달성할 수 있는가?
• RQ2 실생활 쌍체 저조도/정상조도 영상으로 훈련하면 합성 데이터셋에 비해 실생활 저조도 장면에서 더 나은 일반화 및 성능을 달성할 수 있는가?
• RQ3 저조도 영상 강화가 얼굴 검출과 같은 고수준 비전 작업의 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 주파수 손실이 노이즈 증폭 없이 재조명 과정에서 이미지 디테일을 얼마나 효과적으로 보존하는가?
• RQ5 3단계 네트워크(분해, 노이즈 제거, 재조명)가 대비 향상, 노이즈 억제, 디테일 보존 측면에서 엔드 투 엔드 모델을 능가할 수 있는가?

주요 결과

• R2RNet는 LOL 데이터셋에서 최고의 PSNR(20.207)와 SSIM(0.816) 성능을 기록하며, MBLLEN 및 EnlightenGAN을 포함한 최신 기술 수준의 방법들을 능가한다.
• 제거 실험 결과, 인지적 손실과 주파수 손실을 모두 포함한 전체 R2RNet 아키텍처가 최고의 성능을 보이며, 주파수 손실을 제거할 경우 PSNR가 2.242 감소함을 확인했다.
• DARK FACE 데이터셋에서 R2RNet를 사전 처리 단계로 사용할 경우, 얼굴 검출의 평균 정밀도(AP)가 강화 없이 17.12%에서 DSFD 기반으로 33.98%로, RetinaFace 기반으로 25.97%로 향상되었다.
• 5,650개의 실생활 쌍체 저조도/정상조도 영상로 구성된 LSRW 데이터셋은 공개 기준 벤치마크에서 성능 향상을 통해 합성 데이터셋보다 더 나은 일반화 성능을 입증한다.
• 주파수 손실 구성 요소는 디테일 보존에 기여하며, 이를 제거할 경우 PSNR가 0.451 감소하고 SSIM이 0.011 감소함으로써 고주파 디테일 복구에 기여하는 역할을 확인했다.
• 시각적 비교 결과, R2RNet는 어두운 영역의 노이즈와 아티팩트를 효과적으로 억제하며, RetinexNet에서 관찰되는 흐림 현상과 SRIE의 과소 강화 현상을 피하고 있다.