[논문 리뷰] Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination Conditions via Fourier Adversarial Networks

Pranjay Shyam, Sandeep Singh Sengar외 2명|arXiv (Cornell University)|2022. 04. 04.

Image Enhancement Techniques인용 수 8

한 줄 요약

이 논문은 동적 조명 조건 하에서 강건성을 향상시키기 위해 푸리에 적대적 네트워크를 활용한 경량적이고 이중 단계의 이미지 신호 처리(ISP) 파이프라인을 제안한다. 주파수 도메인 사전 지식과 압축된 다중 척도 특징 추출 메커니즘을 활용함으로써 조명 균형 조절과 노이즈 억제 성능을 향상시켜, 최소한의 계산 비용으로 최신 기술 수준의 성능을 달성하며, 객체 검출 및 의미 세그멘테이션과 같은 후행 인식 작업의 성능을 향상시킨다.

ABSTRACT

The limited dynamic range of commercial compact camera sensors results in an inaccurate representation of scenes with varying illumination conditions, adversely affecting image quality and subsequently limiting the performance of underlying image processing algorithms. Current state-of-the-art (SoTA) convolutional neural networks (CNN) are developed as post-processing techniques to independently recover under-/over-exposed images. However, when applied to images containing real-world degradations such as glare, high-beam, color bleeding with varying noise intensity, these algorithms amplify the degradations, further degrading image quality. We propose a lightweight two-stage image enhancement algorithm sequentially balancing illumination and noise removal using frequency priors for structural guidance to overcome these limitations. Furthermore, to ensure realistic image quality, we leverage the relationship between frequency and spatial domain properties of an image and propose a Fourier spectrum-based adversarial framework (AFNet) for consistent image enhancement under varying illumination conditions. While current formulations of image enhancement are envisioned as post-processing techniques, we examine if such an algorithm could be extended to integrate the functionality of the Image Signal Processing (ISP) pipeline within the camera sensor benefiting from RAW sensor data and lightweight CNN architecture. Based on quantitative and qualitative evaluations, we also examine the practicality and effects of image enhancement techniques on the performance of common perception tasks such as object detection and semantic segmentation in varying illumination conditions.

연구 동기 및 목표

• glare, 색상 번짐, 변동하는 노이즈 등의 실제 환경에서의 열화 요인으로 인해 실패하는 현재 최신 기술 수준(SoTA)의 저조도 영상 강화(LLIE) 방법의 한계를 해결한다.
• 첫 번째 단계에서 조명 균형 조절을 수행하고, 두 번째 단계에서 주파수 도메인 사전 지식을 활용해 노이즈와 아티팩트를 제거하는 경량적이고 이중 단계의 이미지 강화 파이프라인을 개발한다.
• RAW 센서 데이터를 활용해 제안된 강화 알고리즘을 카메라 ISP 파이프라인에 통합하여 종단 간 이미지 품질을 향상시키고, 후처리 부담을 줄인다.
• 다양한 조명 조건 하에서 객체 검출 및 의미 세그멘테이션과 같은 후행 인식 작업에 대한 이미지 강화의 영향을 평가한다.
• 푸리에 도메인 특징을 기반으로 한 GAN 기반 강화가 비적대적 기반 대비 더 자연스럽고 구조적으로 충실한 이미지를 생성함을 입증한다.

제안 방법

• 이중 단계 네트워크 설계: 첫 번째 단계는 채널 별 주의 메커니즘을 활용한 압축된 다중 척도 특징 추출 모듈을 통해 다양한 수용각을 통합해 조도 균형 조절을 수행한다.
• 두 번째 단계는 강화된 이미지의 구조적 및 질감 충실도를 유지하면서 노이즈와 아티팩트를 제거하는 데 집중한다.
• 공간 도메인과 주파수 도메인 성질 간 이중성 특성을 활용해 다양한 조명 조건에서도 일관된 강화를 보장하는 푸리에 스펙트럼 기반 적대적 프레임워크(AFNet)를 도입한다.
• 빠른 푸리에 변환(FFT)을 사용해 크기 및 위상 성분을 분석하고, 잘 조명된 이미지에서의 고주파 성분을 구조적 사전 지식으로 활용해 강화한다.
• 주파수 도메인 손실을 사용해 적대적 네트워크를 훈련시켜 실제적인 질감 복구를 장려하고 고주파 왜곡을 감소시킨다.
• 디모자이크된 RAW 이미지를 처리함으로써 모델을 카메라 ISP 파이프라인에 통합하여 실시간, 센서 내부 강화를 가능하게 하고 계산 오버헤드를 감소시킨다.

실험 결과

연구 질문

• RQ1 경량적이고 이중 단계의 이미지 강화 파이프라인이 계산 비용을 최소화하면서도 동적 조명 조건에서의 강건성을 향상시킬 수 있는가?
• RQ2 특히 푸리에 스펙트럼 분석을 통한 주파수 도메인 사전 지식의 통합이 저조도 이미지의 구조적 충실도 향상과 아티팩트 감소에 어떻게 기여하는가?
• RQ3 푸리에 도메인 특징을 기반으로 한 GAN 기반 적대적 프레임워크가 비적대적 SoTA 방법에 비해 이미지의 자연스러움과 인지적 품질을 얼마나 향상시킬 수 있는가?
• RQ4 RAW 데이터를 활용해 이미지 강화를 직접 카메라 ISP 파이프라인에 통합할 경우, sRGB 이미지에 대한 후처리에 비해 성능이 향상되는가?
• RQ5 어려운 조명 조건 하에서 이미지 강화가 객체 검출 및 의미 세그멘테이션과 같은 후행 인식 작업의 성능에 어떻게 영향을 미치는가?

주요 결과

• 제안된 AFNet은 LOL 데이터셋에서 PSNR 29.15와 LPIPS 0.29를 기록하며 URIE 및 EnlightenGAN과 같은 최신 기술 수준(SoTA) 방법보다 두 지표에서 모두 우월한 성능을 보였다.
• 이중 단계 아키텍처는 모델 크기와 추론 시간을 감소시키면서도 높은 품질의 출력을 유지하여 엣지 배포에 적합하다.
• 주파수 도메인 사전 지식의 활용은 고주파 성분 복구를 크게 향상시켰으며, 엣지 및 질감 표현 향상을 보여주는 파wer 스펙트럼 밀도(PSD) 곡선을 통해 입증되었다.
• 객체 검출(Deformable DETR on ExDark)에 적용했을 때, 강화된 이미지는 원시 저조도 입력 대비 mAP에서 25%의 상대적 향상을 보였다.
• 디모자이크된 RAW 이미지를 처리하도록 모델를 재구성한 결과, 전용 RAW 강화 모델(RAW2RGB-GAN)과 유사한 성능(1.8 GMACs 대비 2.1 GMACs)을 달성하면서도 더 낮은 계산 비용을 기록했다.
• AFNet을 통한 GAN 기반 훈련은 낮은 NIQE(0.82) 및 LPIPS(0.29) 점수를 통해 더 자연스럽고 인지적 품질이 향상된 이미지를 생성함을 확인했으며, 왜곡도 감소함을 의미한다.