[논문 리뷰] Learning to See in the Dark

Chen Chen, Qifeng Chen외 2명|arXiv (Cornell University)|2018. 05. 04.

Advanced Image Processing Techniques참고 문헌 26인용 수 43

한 줄 요약

이 논문은 See-in-the-Dark(SID) 데이터셋을 극저조도 영상에 도입하고, 원시 센서 데이터로 작동하는 엔드투엔드 완전 합성곱 네트워크를 훈련시켜 단일 이미지 저조도 영상의 노이즈 억제와 색상 정확도를 개선하며, 기존 파이프라인 및 포스트 디노이징 기준선보다 우수하다.

ABSTRACT

Imaging in low light is challenging due to low photon count and low SNR. Short-exposure images suffer from noise, while long exposure can induce blur and is often impractical. A variety of denoising, deblurring, and enhancement techniques have been proposed, but their effectiveness is limited in extreme conditions, such as video-rate imaging at night. To support the development of learning-based pipelines for low-light image processing, we introduce a dataset of raw short-exposure low-light images, with corresponding long-exposure reference images. Using the presented dataset, we develop a pipeline for processing low-light images, based on end-to-end training of a fully-convolutional network. The network operates directly on raw sensor data and replaces much of the traditional image processing pipeline, which tends to perform poorly on such data. We report promising results on the new dataset, analyze factors that affect performance, and highlight opportunities for future work. The results are shown in the supplementary video at https://youtu.be/qWKUFK7MWvg

연구 동기 및 목표

• 극도로 어두운 환경에서 전통 파이프라인이 실패하는 빠르고 고품질의 촬영을 촉진한다.
• 롱 익스포저 그라운드 트루스(SID)와 함께하는 원시 저조도 이미지의 실제 공개 가능한 데이터셋을 제공한다.
• 원시 센서 데이터를 처리하여 지각적으로 만족스러운 저조도 이미지를 생성하는 엔드투엔드 학습 가능한 파이프라인을 개발한다.
• 엔드투엔드 원시 데이터 처리가 전통적인 디노이징 및 버스트/촬영 접근법과 비교하여 어떤지 평가한다.
• 카메라 간 일반화 및 실시간 혹은 준실시간 처리 가능성 탐구한다.

제안 방법

• 원시 센서 데이터에서 직접 작동하는 엔드투엔드 완전 컨볼루셔널 네트워크(FCN)를 학습시켜 디모자이싱, 디노이징, 색상 변환 등 전통 처리 모듈을 대체한다.
• 배이어(Bayer) 및 X-Trans 센서 데이터를 다중 채널 입력으로 패킹하고, 네트워크 처리 전 블랙 레벨 뺄셈과 외부 증폭 비율(ISO 유사)을 적용하며, 풀 해상도 복원을 위해 서브픽셀 층을 사용한다.
• 두 가지 핵심 아키텍처(CAN)와 U-net을 평가하며, 실험에서 U-net이 더 나은 색상 및 PSNR을 제공한다.
• L1 손실로 그라운드 트루스 롱 익스포저 참조를 사용해 네트워크를 학습하고, 데이터 확장 및 카메라별 모델을 적용한다.
• 전통 파이프라인, BM3D 디노이징 및 이상적 버스트 디노이징과의 성능을 인지 A/B 테스트(MTurk)로 평가한다.
• 입력 색상 패킹, 손실 함수, 학습시 히스토그램 스트레칭 부재 등의 설계 선택과 이들이 이미지 품질에 미치는 영향을 조사한다.

실험 결과

연구 질문

• RQ1 원시 저조도 센서 데이터에서 작동하는 엔드투엔드 FCN이 1/30초에서 1/10초 노출의 perceptual 품질을 <0.1 lux에서 회복할 수 있는가?
• RQ2 원시 데이터에서 전체 파이프라인을 학습하는 것이 전통 파이프라인 및 후처리 디노이징 또는 버스트 방법과 비교하여 지각 품질 및 정량 지표 측면에서 어떤 차이가 있는가?
• RQ3 어떤 네트워크 아키텍처와 데이터 표현 방식이 극저조도 조건에서 색상과 디테일을 가장 잘 보존하는가?
• RQ4 원시 데이터 처리가 센서 유형 간에 전이 가능한가, 아니면 카메라 특수 모델이 필요한가?
• RQ5 어떤 요소들(증폭 비율, 패킹 방식, 손실 함수)이 성능과 일반화에 가장 큰 영향을 미치는가?

주요 결과

• SID는 실내외 장면에서 롱 익스포즈 그라운드 트루스가 있는 5094개의 원시 짧은 노출 이미지를 제공한다.
• 원시 데이터의 엔드투엔드 FCN 기반 처리는 전통 파이프라인보다 향상되어 상당한 노이즈 억제 및 올바른 색상 변환을 가능하게 한다.
• BM3D 및 이상화된 버스트 디노이징과 비교하여 SID 기반 파이프라인은 지각 테스트에서 어려운 x300 데이터에서 크게 우수하게 나타난다.
• U-net 아키텍처는 SID 데이터에서 CAN보다 더 나은 색상 회복 및 PSNR를 제공한다.
• 원시 센서 데이터에서 작업하는 것이 극저조도 조건에서 sRGB 출력 작업보다 더 효과적이다.
• 일부 한계로 SID의 동적 장면 부족과 카메라별 모델 필요성; 실시간 전체 해상도 처리 여전히 도전적이다.