[논문 리뷰] FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency Information

Chenxi Wang, Hongjun Wu외 1명|arXiv (Cornell University)|2023. 08. 06.

Image Enhancement Techniques인용 수 7

한 줄 요약

FourLLIE는 주파수 도메인에서 진폭 성분의 크기를 활용하여 영상의 밝기를 향상시키고, 신호 대 잡음 비율(SNR) 맵을 사용해 글로벌 푸리에 특징과 로컬 공간 특징을 융합하는 이단계적 푸리에 기반 방법을 제안한다. 최근의 트랜스포머 기반 SOTA 방법에 비해 단지 0.31%의 파라미터만을 사용하면서도 여러 벤치마크에서 최고의 성능을 달성하여 높은 효율성과 효과성을 입증한다.

ABSTRACT

Recently, Fourier frequency information has attracted much attention in Low-Light Image Enhancement (LLIE). Some researchers noticed that, in the Fourier space, the lightness degradation mainly exists in the amplitude component and the rest exists in the phase component. By incorporating both the Fourier frequency and the spatial information, these researchers proposed remarkable solutions for LLIE. In this work, we further explore the positive correlation between the magnitude of amplitude and the magnitude of lightness, which can be effectively leveraged to improve the lightness of low-light images in the Fourier space. Moreover, we find that the Fourier transform can extract the global information of the image, and does not introduce massive neural network parameters like Multi-Layer Perceptrons (MLPs) or Transformer. To this end, a two-stage Fourier-based LLIE network (FourLLIE) is proposed. In the first stage, we improve the lightness of low-light images by estimating the amplitude transform map in the Fourier space. In the second stage, we introduce the Signal-to-Noise-Ratio (SNR) map to provide the prior for integrating the global Fourier frequency and the local spatial information, which recovers image details in the spatial space. With this ingenious design, FourLLIE outperforms the existing state-of-the-art (SOTA) LLIE methods on four representative datasets while maintaining good model efficiency.

연구 동기 및 목표

• 푸리에 주파수 정보, 특히 진폭 성분의 역할이 저조도 영상 향상에 어떻게 기여하는지 조사하기.
• 신경망 기반 글로벌 특징 추출의 비효율성을 해결하기 위해 푸리에 변환의 파라미터가 없는 글로벌 모델링을 활용함.
• 주파수 도메인에서 밝기를 향상시키고, SNR 기반 특징 상호작용을 통해 공간 도메인에서 세부 사항을 복구하는 경량의 이단계 네트워크 설계.
• 최소한의 모델 파라미터로 SOTA 성능을 달성하여 효율성을 향상시키되, 품질을 손상시키지 않음.

제안 방법

• 먼저 주파수 도메인에서 진폭 변환 맵을 추정하여 진폭 스펙트럼의 크기를 조정함으로써 영상의 밝기를 향상시킴.
• 두 번째 단계에서 글로벌 푸리에 특징과 로컬 공간 특징의 융합을 안내하기 위해 신호 대 잡음 비율(SNR) 맵을 도입함.
• SNR 맵은 특징 통합 과정에서 정보가 많은 영역을 선택적으로 강조함으로써 세부 사항 복구를 향상시킴.
• 구조적이고 인지적인 품질을 유지하기 위해 L1 손실, VGG 기반의 인지적 손실, 공간 손실의 조합으로 네트워크를 훈련함.
• 주파수 단계는 완전히 주파수 도메인에서 작동하며, MLP나 트랜스포머와 같은 파라미터가 많은 모듈을 회피함.
• 아키텍처는 최소한의 파라미터(최근의 SOTA 트랜스포머 기반 방법의 0.31%)로 구성되어 있어 경량이면서도 높은 성능 유지를 함.

실험 결과

연구 질문

• RQ1 푸리에 도메인에서 진폭 성분의 크기를 사용하여 저조도 영상의 밝기를 효과적으로 향상시킬 수 있는가?
• RQ2 MLP나 트랜스포머와 같은 신경망 기반 글로벌 모델링에 비해 푸리에 기반 글로벌 특징 추출은 파라미터 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ3 신호 대 잡음 비율(SNR) 맵이 글로벌 주파수 특징과 로컬 공간 특징의 융합을 효과적으로 안내할 수 있는가?
• RQ4 주파수 도메인에서 먼저 밝기를 향상시키고, 공간 도메인에서 세부 사항을 정밀하게 복구하는 이단계 설계가 종단 간 공간 기반 방법보다 더 나은 성능을 낼 수 있는가?
• RQ5 제안된 방법이 쌍체의 저조도 영상 데이터셋과 비쌍체 데이터셋 모두에 잘 일반화되는가?

주요 결과

• FourLLIE는 LOL-Real, LOL-Synthetic, LSRW-Huawei, LSRW-Nikon 네 가지 벤치마크 데이터셋에서 SOTA 성능을 달성하였으며, 각각 PSNR가 22.34, 24.65, 21.30, 17.82를 기록함.
• LOL-Real 데이터셋에서 FourLLIE는 PSNR 22.34와 SSIM 0.8468를 달성하여 이전의 SOTA 방법을 능가함.
• 매우 높은 효율성을 유지하여 최근의 SNR-인식 트랜스포머 기반 SOTA 방법에 비해 단지 0.31%의 파라미터만을 사용하면서도 뛰어난 성능을 달성함.
• 제거 실험 결과 주파수 단계와 SNR 기반 융합이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 저하됨.
• DICM 및 LIME과 같은 비쌍체 데이터셋에도 잘 일반화되어 시각적으로 열등한 결과를 낼 것 같지 않으며, 더 적은 잡음과 더 선명한 질감을 제공함.
• SICE 데이터셋에서 曝光 보정에 대한 확장 결과도 강력한 성능을 보였으며, PSNR와 SSIM 측면에서 기존 방법들을 능가함으로써 본 방법의 광범위한 적용 가능성을 입증함.