[논문 리뷰] You Only Need 90K Parameters to Adapt Light: A Light Weight Transformer for Image Enhancement and Exposure Correction

Ziteng Cui, Kunchang Li외 6명|arXiv (Cornell University)|2022. 05. 30.

Image Enhancement Techniques인용 수 77

한 줄 요약

조명 적응 변환기(IIT)???

ABSTRACT

Challenging illumination conditions (low-light, under-exposure and over-exposure) in the real world not only cast an unpleasant visual appearance but also taint the computer vision tasks. After camera captures the raw-RGB data, it renders standard sRGB images with image signal processor (ISP). By decomposing ISP pipeline into local and global image components, we propose a lightweight fast Illumination Adaptive Transformer (IAT) to restore the normal lit sRGB image from either low-light or under/over-exposure conditions. Specifically, IAT uses attention queries to represent and adjust the ISP-related parameters such as colour correction, gamma correction. With only ~90k parameters and ~0.004s processing speed, our IAT consistently achieves superior performance over SOTA on the current benchmark low-light enhancement and exposure correction datasets. Competitive experimental performance also demonstrates that our IAT significantly enhances object detection and semantic segmentation tasks under various light conditions. Training code and pretrained model is available at https://github.com/cuiziteng/Illumination-Adaptive-Transformer.

연구 동기 및 목표

• 실제 세계의 다양한 조명이 시각적 품질 및 다운스트림 비전 작업에 미치는 영향을 해결합니다.
• 입력 sRGB 이미지를 밝은 타깃으로 매핑하기 위해 ISP 프로세스를 고려하는 경량의 모바일 친화적 모델을 개발합니다.
• 트랜스포머 기반 프레임워크에서 로컬 픽셀 단위의 조정과 글로벌 ISP 매개변수 추정 간의 분리를 달성합니다.
• 효율성을 유지하면서 저전력 환경에서도 우수한 성능을 입증합니다.

제안 방법

• ISP로 인한 조명 변화를 로컬 픽셀 단위 분기와 글로벌 ISP 분기로 분해합니다.
• 모델을 경량으로 유지하기 위해 로컬 분기에서 표준 자기 주의(attention) 대신 깊이별 합성을 사용합니다.
• 글로벌 ISP 분기에서 학습 가능한 어텐션 쿼리를 사용하여 색상 변환 행렬과 감마를 예측하고 ISP 유사한 조정을 유도합니다.
• 경량 트랜스포머 모듈의 안정적인 학습을 위한 새로운 광 보정(light normalisation) 및 Layer Scale을 도입합니다.
• 로컬 맵(M, A)과 ISP 매개변수(W, gamma)를 추정하기 위한 픽셀 단위 향상 모듈(로컬)과 글로벌 예측 모듈(글로벌)의 두 분기 구조를 구현합니다.
• 향상 데이터셋에 대한 L1 유사 손실과 노출 보정에 대한 표준 손실을 혼합하여 모델을 최적화하고, 데이터 증가 및 코사인 학습률 스케줄을 사용합니다.

실험 결과

연구 질문

• RQ1 다 ultra-lightweight 트랜스포머 기반 프레임워크가 다양한 조명 조건에서 ISP 관련 매개변수를 적응시켜 sRGB 이미지를 개선할 수 있는가?
• RQ2 로컬 픽셀 단위 조정과 글로벌 ISP 매개변수 추정의 분리가 복원 품질과 태스크 로버스트니스를 향상시키는가?
• RQ3 IAT는 저수준 이미지 개선, 노출 보정, 그리고 고수준 작업(탐지/세그먼트레이션)에서 최적의 방법들과 비교해 어떻게 수행되며 매개변수는 최소화되고 추론은 빠른가?
• RQ4 제안된 접근법이 다양 해상도에서 리사이징 없이 모바일 친화적이고 확장 가능한가?
• RQ5 challenging한 조명 하에서 다운스트림 비전 작업에 대한 IAT의 영향은 무엇인가?

주요 결과

• IAT는 0.09M 매개변수 만으로도 저광 보정 및 노출 보정 벤치마크에서 최첨단 성능을 달성합니다.
• 초당 추론 속도가 약 0.004초로 경쟁 방법들(~1초)보다 훨씬 빠릅니다.
• 다양한 조명 조건에서도 저광 물체 탐지 및 의미론적 분할과 같은 고수준 작업에서 경쟁력 있거나 우수한 결과를 보여줍니다.
• 로컬 분기에서 깊이별 합성들을 사용하고 글로벌 분기에서 ISP 관련 매개변수를 예측하는 트랜스포머 기반 구조로 경량화를 유지합니다(색상 매트릭스 및 감마).
• LOL, MIT-Adobe FiveK, EXDark, ACDC, TYOL에 대한 광범위한 실험에서 PSNR/SSIM 및 mAP/mIOU가 향상되었으며 효율성 지표도 우수합니다.
• 두 분기 설계와 경량화 보정의 이점을 강조하는 제거적 연구로써 두 분기 설계의 이점 및 Licht Normalisation이 함께 작동하는 것을 보여주는 실험이 있습니다.