[논문 리뷰] Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement

Yuanhao Cai, Hao Bian외 4명|arXiv (Cornell University)|2023. 03. 12.

Image Enhancement Techniques인용 수 19

한 줄 요약

로우라이트 이미지를 향상시키기 위한 일단계 Retinex 기반 프레임워크(ORF)와 Illumination-Guided Transformer(IGT)를 소개하여, 13개의 벤치마크에서 최첨단(SOTA) 성능을 달성하고 로우라이트 물체 탐지 성능을 향상시킨다.

ABSTRACT

When enhancing low-light images, many deep learning algorithms are based on the Retinex theory. However, the Retinex model does not consider the corruptions hidden in the dark or introduced by the light-up process. Besides, these methods usually require a tedious multi-stage training pipeline and rely on convolutional neural networks, showing limitations in capturing long-range dependencies. In this paper, we formulate a simple yet principled One-stage Retinex-based Framework (ORF). ORF first estimates the illumination information to light up the low-light image and then restores the corruption to produce the enhanced image. We design an Illumination-Guided Transformer (IGT) that utilizes illumination representations to direct the modeling of non-local interactions of regions with different lighting conditions. By plugging IGT into ORF, we obtain our algorithm, Retinexformer. Comprehensive quantitative and qualitative experiments demonstrate that our Retinexformer significantly outperforms state-of-the-art methods on thirteen benchmarks. The user study and application on low-light object detection also reveal the latent practical values of our method. Code, models, and results are available at https://github.com/caiyuanhao1998/Retinexformer

연구 동기 및 목표

• 조명 인지 모델링을 Transformer 기반의 손상 복구기와 통합하여 저조도 이미지 향상을 촉진한다.
• 단일 단계에서 조명을 공동으로 추정하고 손상을 복구하기 위해 ORF를 제안한다.
• 조명 정보를 활용하여 장거리 자기 주의를 안내하기 위해 IG-MSA를 설계한다.
• IGT를 ORF에 삽입하여 Retinexformer를 구성하고 데이터셋 전반에서 우수한 성능을 입증한다.
• 사용자 연구 및 개선된 저조도 물체 탐지를 통해 실용적 이점을 보인다.

제안 방법

• 이미지를 밝히고 나서 단일 엔드-투-엔드 학습 가능한 파이프라인으로 손상을 복구하는 원스테이지 Retinex 기반 프레임워크(ORF)를 수립한다.
• 조명 추정기 E를 도입하여 I에서 밝힌 이미지 I_lu와 밝힌 특성 F_lu를 출력하고 조명 선행 정보 L_p를 이용한다.
• 세 채널 RGB 밝힘 지도 L_bar를 사용하여 RGB 채널 간 비선형성을 강건하게 모델링하는 밝힘이 수행된다.
• Illumination-Guided Transformer (IGT)를 손상 복구기로 개발하고, 건너뛰기 연결을 갖춘 세 스케일의 U자형 아키텍처로 작동한다.
• IG-MSA에서 밝힘 특징 F_lu로 다중 헤드 자체 주의를 안내하여 서로 다른 조명 조건을 갖는 영역 간의 상호작용을 개선한다.
• IG-MSA가 공간 크기에 선형적으로 스케일링함을 나타내는 복잡도 분석을 제공하여 다중 스케일에 통합할 수 있게 한다.

실험 결과

연구 질문

• RQ1 한 단계 Retinex 기반 프레임워크가 멀티 스테이지 학습 없이 밝히는 동안 손상을 효과적으로 모델링하고 복구할 수 있는가?
• RQ2 조명 가이드 트랜스포머(IGT)가 서로 다른 노출을 가진 영역 간의 긴 거리 의존성 모델링을 개선하는가?
• RQ3 밝힘 맵과 조명 가이드 주의가 저조도 향상과 객체 탐지와 같은 하위 작업에 어떤 이점을 가져오는가?

주요 결과

• Retinexformer는 13개의 데이터셋에서 최첨단 Retinex 기반 방법보다 현저히 우수한 성능을 보인다.
• SNR-Net과 비교할 때 Retinexformer는 다수의 벤치마크에서 PSNR/SSIM을 최대 1.57 dB 및 0.059만큼 향상시키고, 계산 비용은 더 낮다.
• SID 및 SDSD 데이터셋에서 특정 기준선 대비 PSNR이 6 dB 이상 개선된다.
• 제안된 IG-MSA는 전역 자기 주의에 비해 비용을 줄이면서도 바람직한 결과를 달성하여 네트워크 내에 밀집하게 적용 가능하다.
• 다수의 데이터셋에서 Retinexformer의 시각적 품질 인지가 더 높게 나타났고, 객체 탐지 실험(ExDark)에서는 평균 정밀도(AP)가 향상되었다.
• 소거 연구(ablation studies)에서 ORF와 IG-MSA가 성능 향상에 기여하며, 결합 시 추가 개선이 발생한다.