[논문 리뷰] You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement

Qingsen Yan, Yixu Feng외 6명|arXiv (Cornell University)|2024. 02. 08.

Image Enhancement Techniques인용 수 18

한 줄 요약

CIDNet은 학습 가능한 Horizontal/Vertical-Intensity (HVI) 색 공간과 경량 교차 주의(U)를 갖춘 양방향 네트워크를 도입하여 밝기와 색상을 분리하고, 11개 데이터셋에서 복잡도는 낮은 상태로 최첨단 결과를 달성합니다.

ABSTRACT

Low-Light Image Enhancement (LLIE) task tends to restore the details and visual information from corrupted low-light images. Most existing methods learn the mapping function between low/normal-light images by Deep Neural Networks (DNNs) on sRGB and HSV color space. Nevertheless, enhancement involves amplifying image signals, and applying these color spaces to low-light images with a low signal-to-noise ratio can introduce sensitivity and instability into the enhancement process. Consequently, this results in the presence of color artifacts and brightness artifacts in the enhanced images. To alleviate this problem, we propose a novel trainable color space, named Horizontal/Vertical-Intensity (HVI). It not only decouples brightness and color from RGB channels to mitigate the instability during enhancement but also adapts to low-light images in different illumination ranges due to the trainable parameters. Further, we design a novel Color and Intensity Decoupling Network (CIDNet) with two branches dedicated to processing the decoupled image brightness and color in the HVI space. Within CIDNet, we introduce the Lightweight Cross-Attention (LCA) module to facilitate interaction between image structure and content information in both branches, while also suppressing noise in low-light images. Finally, we conducted 22 quantitative and qualitative experiments to show that the proposed CIDNet outperforms the state-of-the-art methods on 11 datasets. The code is available at https://github.com/Fediory/HVI-CIDNet.

연구 동기 및 목표

• RGB 기반 색 공간(sRGB/HSV)으로 인한 저조도 향상에서의 불안정성을 특히 노이즈가 많고 노출이 부족한 조건에서 해결하는 문제의식 제시.
• 밝기와 색상을 분리하고 다양한 조도 수준에 적응하는 학습 가능한 HVI 색 공간 제안.
• HVI 공간에서 작동하는 밝기 중심과 색상 중심의 두 가지 분기 네트워크(CIDNet)를 개발하여 강건성과 품질 향상.
• 교차 주의 모듈(경량 교차 주의 모듈)을 도입하여 두 분기가 노이즈 제거를 하면서 상호 작용하도록 합니다.

제안 방법

• 학습 가능한 매개변수를 갖는 Horizontal/Vertical-Intensity (HVI) 색 공간과 sRGB에서 HVI로의 가역 변환을 도입합니다.
• 두 경로 네트워크(CIDNet)를 설계하여 한 경로는 밝기(Intensity)를 처리하고 다른 경로는 HVI 변환 후 색상(HV)을 처리합니다.
• 교차 분기 간 상호 작용과 잡음 억제를 가능하게 하는 Lightweight Cross-Attention(LCA) 모듈을 삽입합니다.
• Cross-Attention 블록, Intensity Enhance Layer (IEL) 및 Color Denoise Layer (CDL)가 포함된 Two-way UNet 아키텍처(CID Two-way UNet)를 사용합니다.
• 훈련을 감독하기 위해 sRGB 공간과 HVI 공간 모두에서 L1, 에지 및 지각 손실을 결합한 손실 함수를 사용합니다.

실험 결과

연구 질문

• RQ1 학습 가능한 HVI 색 공간이 일반적으로 sRGB/HSV 기반 LLIE 방법에서 흔히 발생하는 색상/밝기 인공물을 완화할 수 있는가?
• RQ2 두 분기 CIDNet이 밝기와 색상을 분리하여 다양한 조도 및 노이즈 수준에서 더 나은 복원을 구현하는가?
• RQ3 경량 교차 주의 모듈이 계산 비용을 과도하게 증가시키지 않으면서 밝기와 색상 분기 간의 상호 작용을 개선하는가?
• RQ4 HVI 공간과 sRGB 공간에서의 결합 손실이 최종 지각 품질에 어떤 영향을 미치는가?
• RQ5 CIDNet은 최첨단 방법과 비교하여 다수의 LLIE 데이터셋에서 어떤 성능을 보이는가?

주요 결과

• HVI를 활용한 CIDNet은 LOLv1/v2 데이터셋 전반에서 FLOPs가 약 7.57 GFLOPs 수준으로 유지되면서 더 우수한 SSIM 및 LPIPS를 달성합니다.
• CIDNet은 여러 어려운 데이터셋(SICE, SID)에서 최첨단 결과를 제공하며 SID-Total-Dark에서 PSNR/SSIM/LPIPS 면에서 LEDNet보다 상당한 차이로 우수하게 나타납니다.
• 적요 연구에서 HVI 공간이 LLIE에 대해 sRGB/HSV보다 우수하며 Cross-Attention이 있는 Two-way UNet이 PSNR 이득을 더 제공합니다.
• 제안된 LCA 모듈은 편향 없는 선형 복잡도 교차 분기 상호 작용을 제공하여 자기 주의(Self-Attention) 변형보다 복원 품질을 개선합니다.
• HVI 및 sRGB 공간에서의 지각 손실을 동시 감독하는 손실이 단일 공간 손실보다 LPIPS 및 지각 품질을 크게 향상시킵니다.