[논문 리뷰] Embedding Fourier for Ultra-High-Definition Low-Light Image Enhancement

Chongyi Li, Chunle Guo외 5명|arXiv (Cornell University)|2023. 02. 23.

Advanced Image Processing Techniques인용 수 43

한 줄 요약

논문은 UHD 저조도 이미지 개선을 위해 푸리에 도메인 임베디드 네트워크 UHDFour를 도입하고, UHD-LL 데이터셋 UHD-LL을 처음으로 제시한다.

ABSTRACT

Ultra-High-Definition (UHD) photo has gradually become the standard configuration in advanced imaging devices. The new standard unveils many issues in existing approaches for low-light image enhancement (LLIE), especially in dealing with the intricate issue of joint luminance enhancement and noise removal while remaining efficient. Unlike existing methods that address the problem in the spatial domain, we propose a new solution, UHDFour, that embeds Fourier transform into a cascaded network. Our approach is motivated by a few unique characteristics in the Fourier domain: 1) most luminance information concentrates on amplitudes while noise is closely related to phases, and 2) a high-resolution image and its low-resolution version share similar amplitude patterns.Through embedding Fourier into our network, the amplitude and phase of a low-light image are separately processed to avoid amplifying noise when enhancing luminance. Besides, UHDFour is scalable to UHD images by implementing amplitude and phase enhancement under the low-resolution regime and then adjusting the high-resolution scale with few computations. We also contribute the first real UHD LLIE dataset, extbf{UHD-LL}, that contains 2,150 low-noise/normal-clear 4K image pairs with diverse darkness and noise levels captured in different scenarios. With this dataset, we systematically analyze the performance of existing LLIE methods for processing UHD images and demonstrate the advantage of our solution. We believe our new framework, coupled with the dataset, would push the frontier of LLIE towards UHD. The code and dataset are available at https://li-chongyi.github.io/UHDFour.

연구 동기 및 목표

• 푸리에 도메인 특성을 활용하여 UHD 이미지에 대한 효율적인 LLIE를 촉진한다.
• 밝기(진폭)와 노이즈(위상)를 분리하여 밝기 향상 중 노이즈의 증폭을 피한다.
• 해상도 간의 진폭 패턴이 유사하다는 것을 Demonstrate하여 저해상도 처리로도 고해상도 조정을 가능하게 한다.
• 실제 UHD LLIE 데이터셋(UHD-LL)을 도입하고 기존 LLIE 방법들을 UHD 데이터에서 벤치마크한다.

제안 방법

• 푸리에 변환을 계단식 네트워크(LRNet 및 HRNet)에 임베드하여 진폭과 위상을分别로 향상시킨다.
• 푸리에 도메인에서 진폭과 위상을 처리하는 FouSpa 블록과 공간 분기(branch)를 함께 사용한다.
• LRNet에서 1/8 해상도까지 다운샘플링하고 정제된 진폭 A_r 및 위상 P_r를 추출하며 저해상도 RGB 이미지 y_8을 추정한다.
• HRNet에서 Refinement Fourier 특징을 사용하여 진폭 조절(AM) 및 위상 안내(PG)가 포함된 Adjustment Block을 적용하고 고해상도로 업샘플링하여 최종 이미지 y를 얻는다.
• L1, y_8에 대한 지각 손실, 그리고 y에 대한 SSIM과 VGG 기반 손실을 결합한 하이브리드 손실로 학습한다.

실험 결과

연구 질문

• RQ1 푸리에 도메인으로 밝기와 노이즈를 분해하는 방식이 UHD 이미지에 대한 LLIE를 공간 도메인 방법보다 개선하는가?
• RQ2 주파수 기반 조정을 갖는 저해상도 처리 단계로도 계산량을 줄이면서 고품질의 UHD 결과를 얻을 수 있는가?
• RQ3 실제 UHD LLIE 데이터셋(UHD-LL)이 기존 LLIE 방법들이 UHD 데이터에서 가지는 한계를 어떻게 조명하는가?
• RQ4 최종 성능에 대한 푸리에 및 공간 분기와 Adjustment Block 구성 요소의 상대적 기여도는 무엇인가?

주요 결과

• UHDFour은 UHD LLIE에서 UHD-LL에서 재학습될 때 최첨단 성능을 달성하며, 예: PSNR 26.226, SSIM 0.900 및 LPIPS 0.239.
• 대부분의 계산이 저해상도 공간(LRNet)에서 발생하기 때문에 UHD 입력에 대해 UHDFour가 가장 빠르게 실행된다.
• 재학습된 방법들(SNR-Aware, Uformer, Restormer)과 비교할 때 UHDFour은 UHD-LL 데이터셋에서 최적의 PSNR/SSIM/LPIPS를 달성한다.
• 아블레이션 연구에서 푸리에 분기 또는 Adjustment Block 구성 요소를 제거하면 성능이 저하되며, 이는 푸리에 도메인 처리 및 LR-to-HR 융합의 필요성을 강조한다.