[논문 리뷰] Physics-based Noise Modeling for Extreme Low-light Photography

Kaixuan Wei, Ying Fu외 2명|arXiv (Cornell University)|2021. 08. 04.

Photoacoustic and Ultrasonic Imaging참고 문헌 83인용 수 14

한 줄 요약

이 논문은 극저조도 조건에서 복잡한 노이즈 구조를 정확히 포착하는 물리기반 노이즈 모델을 제안한다. 이는 이전에 간과되었던 전자적 노이즈 원천까지 포함한다. 이 모델을 사용해 실제 데이터와 유사한 훈련 데이터를 합성함으로써, 깊이 신경망이 실제 쌍화된 데이터로 훈련된 모델들과 경쟁하거나 그 이상의 성능을 달성하며, 희소한 실제 세계 훈련 데이터에 대한 의존도를 크게 줄였다.

ABSTRACT

Enhancing the visibility in extreme low-light environments is a challenging task. Under nearly lightless condition, existing image denoising methods could easily break down due to significantly low SNR. In this paper, we systematically study the noise statistics in the imaging pipeline of CMOS photosensors, and formulate a comprehensive noise model that can accurately characterize the real noise structures. Our novel model considers the noise sources caused by digital camera electronics which are largely overlooked by existing methods yet have significant influence on raw measurement in the dark. It provides a way to decouple the intricate noise structure into different statistical distributions with physical interpretations. Moreover, our noise model can be used to synthesize realistic training data for learning-based low-light denoising algorithms. In this regard, although promising results have been shown recently with deep convolutional neural networks, the success heavily depends on abundant noisy clean image pairs for training, which are tremendously difficult to obtain in practice. Generalizing their trained models to images from new devices is also problematic. Extensive experiments on multiple low-light denoising datasets -- including a newly collected one in this work covering various devices -- show that a deep neural network trained with our proposed noise formation model can reach surprisingly-high accuracy. The results are on par with or sometimes even outperform training with paired real data, opening a new door to real-world extreme low-light photography.

연구 동기 및 목표

• 정확한 노이즈 모델링이 부족하여 발생하는 극저조도 영상 노이즈 제거 성능 저하 문제를 해결하기 위해.
• 저조도 조건에서 원시 영상 품질에 상당한 영향을 미치는, 이전에 간과되었던 CMOS 센서의 전자적 노이즈 원천을 식별하고 모델링하기 위해.
• 딥러닝 기반 노이즈 제거를 위한 고해상도 훈련 데이터 생성을 가능하게 하는 현실적인 노이즈 합성 파이프라인을 개발하기 위해.
• 다양한 카메라 기기에서의 훈련을 위해 희소하고 기기별로 특화된 실제 노이즈-클린 이미지 쌍에 대한 의존도를 줄이기 위해.
• 기기 종속적이지 않으면서도 물리적으로 타당한 노이즈 모델을 사용해 다양한 카메라 기기 간의 일반화를 가능하게 하기 위해.

제안 방법

• CMOS 영상 처리 파이프라인의 세부 분석을 통해 노이즈 생성 과정을 모델링하고, 독자적 노이즈, 어둠의 전류, 증폭기 노이즈 등 핵심 노이즈 원천을 식별한다.
• 전체 노이즈를 물리적으로 해석 가능한 구성 요소로 분해하고, 각각의 통계적 분포를 갖는 포괄적인 노이즈 모델을 수립한다.
• 신호에 따라 변화하는 이질성 노이즈 특성, 특히 저조도 조건에서 흔한 밴딩 패턴과 같은 비정규 분포 성분을 포함한다.
• 통제된 조명 조건에서 촬영한 소량의 원시 이미지로부터 기기별 노이즈 파rameter를 추정하기 위한 校정 절차를 제안한다.
• 교정된 모델을 사용해 다양한 일조도 수준에서 물리적 현실성을 유지한 채로 합성된 노이즈가 포함된 원시 영상을 생성한다.
• 합성된 데이터를 사용해 U-Net 기반의 노이즈 제거 네트워크를 훈련하고, 실제 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 CMOS 센서의 전자적 노이즈 성분은 극저조도 조건에서 어떻게 복잡한 노이즈 패턴을 유도하는가?
• RQ2 이전에 간과되었던 전자적 노이즈 원천을 포함한 물리기반 노이즈 모델은 저조도 노이즈 제거를 위한 합성 훈련 데이터의 현실성 향상에 기여하는가?
• RQ3 제안된 노이즈 모델로 생성된 합성 데이터 전용으로 훈련된 딥러닝 모델은 실제 쌍화된 데이터로 훈련된 모델보다 얼마나 뛰어난 성능을 보이는가?
• RQ4 다양한 센서 특성을 지닌 다른 카메라 기기 간에 제안된 노이즈 모델은 어떻게 일반화되는가?
• RQ5 이 모델이 생성한 합성 데이터는 저조도 조건에서 깊이 추정, 옵티컬 플로우, 객체 탐지와 같은 후속 비전 작업의 성능 향상에 기여하는가?

주요 결과

• 제안된 물리기반 노이즈 모델로 생성된 합성 데이터 전용으로 훈련된 딥 네트워크는 SID Sony 데이터셋에서 깊이 추정 작업에서 루트 평균 제곱 오차(RMSE) 0.086을 기록했으며, 쌍화된 실제 데이터 기반 베이스라인(RMSE: 0.091)을 초월했다.
• 옵티컬 플로우 추정에서 모델은 종단 오차(EPE) 8.49를 기록했으며, 쌍화된 실제 데이터 기반 베이스라인(10.36)보다 유의미하게 낮아, 더 뛰어난 일반화 성능을 입증했다.
• 객체 탐지에서는 평균적으로 1장의 이미지당 3.434개의 객체를 인식했으며, 쌍화된 실제 데이터 기반 베이스라인(3.233)을 초월했고, 장노출 기준값(4.225)에 가까워졌다.
• 제안된 노이즈 모델은 기존의 이질성 가우시안 모델이 모델링하지 못하는 복잡한 노이즈 아티팩트인 밴딩 패턴을 성공적으로 포착했으며, 저조도 영상에서 시각적으로 불쾌감을 주는 요소였다.
• 이 방법은 실제 노이즈-클린 이미지 쌍이 필요 없이 고성능의 노이즈 제거를 가능하게 하여, 다양한 카메라 기기에서의 훈련을 위한 데이터 수집 부담을 극적으로 줄였다.
• 이 모델이 생성한 합성 데이터를 통해, 훈련 중에 볼 수 없었던 기기들까지도 잘 일반화되는 단일 모델을 훈련시킬 수 있었다.