[논문 리뷰] Simplifying Low-Light Image Enhancement Networks with Relative Loss Functions

Yu Zhang, Xiaoguang Di외 7명|arXiv (Cornell University)|2023. 04. 06.

Image Enhancement Techniques인용 수 6

한 줄 요약

이 논문은 비교적 특징 학습 기반의 두 가지 상대적 손실 함수인 L_brightness와 L_structure를 활용하여 모델 아키텍처를 단순화함으로써 경량 저조도 이미지 향상 네트워크인 FLW-Net을 제안한다. 절대 기준값에 의존하는 supervision 대신 상대적 비교를 통해, 한정된 파라미터 수와 더불어 더 빠른 추론을 가능하게 하며, 한정된 파라미터 수로도 벤치마크 데이터셋에서 최고 성능(SOTA)을 달성한다. 이는 기존 KIND 방법 대비 최대 95% 감소한 파라미터로도 달성된다.

ABSTRACT

Image enhancement is a common technique used to mitigate issues such as severe noise, low brightness, low contrast, and color deviation in low-light images. However, providing an optimal high-light image as a reference for low-light image enhancement tasks is impossible, which makes the learning process more difficult than other image processing tasks. As a result, although several low-light image enhancement methods have been proposed, most of them are either too complex or insufficient in addressing all the issues in low-light images. In this paper, to make the learning easier in low-light image enhancement, we introduce FLW-Net (Fast and LightWeight Network) and two relative loss functions. Specifically, we first recognize the challenges of the need for a large receptive field to obtain global contrast and the lack of an absolute reference, which limits the simplification of network structures in this task. Then, we propose an efficient global feature information extraction component and two loss functions based on relative information to overcome these challenges. Finally, we conducted comparative experiments to demonstrate the effectiveness of the proposed method, and the results confirm that the proposed method can significantly reduce the complexity of supervised low-light image enhancement networks while improving processing effect. The code is available at \url{https://github.com/hitzhangyu/FLW-Net}.

연구 동기 및 목표

• 경량이면서 고성능인 저조도 이미지 향상 네트워크를 설계하는 데 도전한다.
• 픽셀 단위의 supervision이 가능한 절대 기준값이 존재하지 않는 저조도 이미지 향상에서 발생하는 one-to-many 문제를 해결한다.
• 복잡한 구성 요소를 효율적인 전역 특징 추출 모듈로 대체하여 네트워크 아키텍처를 단순화한다.
• 모델 복잡도를 증가시키지 않으면서도 대trast, 색상 충실도 및 노이즈 감소 향상을 개선한다.
• 파라미터 수를 크게 줄여 실시간 적용이 가능하도록 한다.

제안 방법

• 히스토그램 기반의 전역 정보와 고차원 곡선 조정을 활용해 밝기 보정을 수행하는 전역 특징 추출(GFE) 모듈을 갖춘 경량 네트워크인 FLW-Net을 제안한다.
• 두 가지 상대적 손실 함수인 L_brightness와 L_structure를 도입한다. L_brightness는 이미지 패치 간의 밝기 수준을 비교하여 전반적인 대비 조정을 유도하며, L_structure는 패치 간의 구조 유사성을 강제하여 세부 정보를 유지한다.
• L_brightness와 L_structure는 향상된 이미지와 기준 이미지가 상대적 특징에서 유사할 경우 최적의 성능을 발휘하도록 설계되어 있다. 정확한 픽셀 값이 아닌 상대적 특징 유사성에 기반한다.
• 상대적 손실 함수는 절대 기준값에 대한 의존도를 감소시켜 저조도 향상에서 발생하는 one-to-many 문제를 완화한다.
• GFE 모듈은 최소한의 계산 비용으로 전역적 맥락을 효율적으로 캡처하여 컴act한 네트워크 아키텍처를 가능하게 한다.
• 기존 아키텍처(예: RetinexNet 및 KIND)와도 호환되며, 이들의 학습 손실에 추가함으로써 성능 향상을 이룬다.

Figure 1: Visual comparison with some SOTA methods. (a) The original input low-light image. (b) to (e) are enhanced images produced by Zero-DCE++ (C. Li \BOthers ., \APACyear 2021 ) , KIND++ (Y. Zhang, Guo \BCBL \BOthers ., \APACyear 2021 ) and the proposed method in this paper. (f) The reference im

실험 결과

연구 질문

• RQ1 아키텍처와 손실 설계를 단순화함으로써 경량 네트워크가 저조도 이미지 향상에서 SOTA 성능을 달성할 수 있는가?
• RQ2 상대적 손실 함수가 절대 supervision을 효과적으로 대체하여 저조도 향상에서 one-to-many 문제를 줄일 수 있는가?
• RQ3 히스토그램 기반 곡선 조정을 통한 전역 특징 추출이 경량 네트워크에서 표준 전역 모델링보다 우수한 성능을 낼 수 있는가?
• RQ4 제안된 손실 함수가 모델 복잡도를 증가시키지 않으면서도 색상 충실도, 대비 및 노이즈 감소를 향상시킬 수 있는가?
• RQ5 향상 품질을 유지하거나 향상시키면서 파라미터 수를 얼마나 줄일 수 있는가?

주요 결과

• FLW-Net는 기존 KIND 방법 대비 최대 95% 감소한 0.43M 파라미터로 LOL-V1 데이터셋에서 SOTA 성능을 달성한다.
• KIND의 DecomNet과 결합할 경우, 제안된 상대적 손실 함수로 PSNR는 15.68에서 18.94로, SSIM은 0.50에서 0.80으로 향상되며, 파라미터 수는 95% 감소한다.
• 시각적 결과에서 강화된 이미지가 색상 정확도 측면에서 기준 이미지와 가장 유사하며, Zero-DCE++ 및 KIND++를 모두 초월한다.
• RetinexNet과 함께 L_brightness와 L_structure를 조합하면 확대된 비교에서 세부 정보 유지와 노이즈 억제가 향상됨을 확인할 수 있다.
• 심한 노이즈 및 색상 이탈이 동반된 다양한 저조도 조건에서도 높은 성능을 유지한다.
• 상대적 손실 함수는 정확한 픽셀 수준의 지도 데이터가 없더라도 효과적인 학습이 가능하게 하여, 모호한 지도 supervision에 더 강건한 방법을 제공한다.

Figure 2: The detailed structure of the proposed method.