[논문 리뷰] A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising

Kaixuan Wei, Ying Fu외 2명|arXiv (Cornell University)|2020. 03. 28.

Image and Signal Denoising Methods참고 문헌 57인용 수 15

한 줄 요약

이 논문은 극저조도(raw) 이미지 복원을 위한 물리기반의 노이즈 형성 모델을 제안하며, CMOS 센서의 노이즈 원인—예를 들어 광자 쇼트 노이즈, 픽셀 회로 노이즈, 양자화 노이즈—를 정확히 반영하여 매우 현실적인 합성 데이터 생성을 가능하게 한다. 다양한 카메라의 노이즈 파rameter를 校정함으로써, 짝지어진 실재 데이터로 훈련된 모델과 비교해도 성능이 유사하거나 이를 초월하는 신경망이 합성 데이터만으로도 훈련될 수 있으며, 이는 다양한 카메라 기기 간의 일반화 능력을 크게 향상시킨다.

ABSTRACT

Lacking rich and realistic data, learned single image denoising algorithms generalize poorly to real raw images that do not resemble the data used for training. Although the problem can be alleviated by the heteroscedastic Gaussian model for noise synthesis, the noise sources caused by digital camera electronics are still largely overlooked, despite their significant effect on raw measurement, especially under extremely low-light condition. To address this issue, we present a highly accurate noise formation model based on the characteristics of CMOS photosensors, thereby enabling us to synthesize realistic samples that better match the physics of image formation process. Given the proposed noise model, we additionally propose a method to calibrate the noise parameters for available modern digital cameras, which is simple and reproducible for any new device. We systematically study the generalizability of a neural network trained with existing schemes, by introducing a new low-light denoising dataset that covers many modern digital cameras from diverse brands. Extensive empirical results collectively show that by utilizing our proposed noise formation model, a network can reach the capability as if it had been trained with rich real data, which demonstrates the effectiveness of our noise formation model.

연구 동기 및 목표

• 합성 데이터로 훈련된 단일 이미지 복원 네트워크의 낮은 일반화 능력을 향상시키기 위해, 특히 극저조도 조건에서의 성능 향상을 목표로 한다.
• 저조도 영상에서 성능을 떨어뜨리는, 기존에 간과되었던 CMOS 센서의 전자적 노이즈 원인을 식별하고 모델링한다.
• 모든 현대 디지털 카메라에서 노이즈 파rameter를 추정하기 위한 재현 가능한 校정 방법을 개발한다.
• 제안된 노이즈 모델의 효과성과 다양한 카메라 브랜드 및 모델 간의 일반화 능력을 평가한다.

제안 방법

• 저자들은 CMOS 센서의 광자 쇼트 노이즈, 픽셀 회로 노이즈, 양자화 노이즈를 고려한 세밀한 물리기반 접근 방식을 사용하여 원시 이미지의 노이즈를 모델링한다.
• 극저조도 조건에서 현실적인 노이즈 특성을 반영한, 전체 전자 영상 프로세스를 모방하는 합성 이미지 파이프라인을 설계한다.
• 청소된 원시 이미지와 소수의 노이즈가 포함된 촬영 이미지만을 사용하여 카메라 고유의 노이즈 파rameter를 추정하는 단순하고 재현 가능한 校정 방법을 제안한다.
• 제안된 모델이 생성한 합성 데이터로만 훈련된 U-Net 기반의 복원 네트워크를 통해 노이즈 모델을 검증한다.
• 새로가 수집한 극저조도 복원(ELD) 데이터셋을 활용하여, 네 가지 주요 카메라 브랜드(스마트폰 및 DSLR 포함)에서의 성능을 평가한다.
• SID 데이터셋에서의 짝지어진 실재 데이터로 훈련된 모델과의 성능 비교를 위해 동질적 및 이질적 노이즈를 가진 가우시안 모델과도 비교한다.

실험 결과

연구 질문

• RQ1 CMOS 센서 고유의 노이즈 원인을 반영하는 물리기반 노이즈 모델이 극저조도 원시 이미지의 현실성 향상에 기여하는가?
• RQ2 다양한 카메라 기기 간의 일반화 능력 측면에서, 제안된 노이즈 모델은 기존의 가우시안 기반 모델보다 어떻게 비교되는가?
• RQ3 제안된 모델에서 생성된 합성 데이터로만 훈련된 신경망이, 짝지어진 실재 데이터로 훈련된 모델의 성능을 동일하거나 초월할 수 있는가?
• RQ4 모델의 성능는 정확한 노이즈 파rameter 校정에 얼마나 민감한가? 그리고 최소한의 재교정으로도 다양한 기기 간에 일반화가 가능한가?

주요 결과

• 제안된 물리기반 노이즈 모델이 생성한 합성 데이터로만 훈련된 신경망이, SID 데이터셋의 짝지어진 실재 데이터로 훈련된 네트워크와 유사하거나 이를 초월하는 성능을 달성한다.
• 기존의 가우시안 기반 노이즈 모델이 극저조도 조건에서 두드러지게 나타나는 띠무늬 아티팩트와 색상 왜곡 문제를 크게 줄였다.
• ELD 데이터셋에서 제안된 방법은 전통적인 복원 알고리즘(BM3D, A-BM3D)과 단일 브랜드 카메라에서의 짝지어진 실재 데이터로 훈련된 모델보다 뛰어난 성능을 보였다.
• 탄력적인 노이즈 파rameter 校정 프로세스 덕분에, 스마트폰과 DSLR를 포함한 다양한 카메라 기기 간의 일반화 능력이 뛰어나다.
• MIT5K 데이터셋의 추가 청소된 원시 이미지를 사용하여 훈련하면 색상과 밝기 복원 성능이 향상되어, 확장성과 강건성을 입증하였다.
• 재교정 없이도, 한 카메라에서 훈련된 모델이 이전에 교정된 기기들에서의 노이즈 파rameter를 샘플링하여 다른 기기에서도 유사한 성능을 달성할 수 있었다.