[논문 리뷰] High-level numerical simulations of noise in CCD and CMOS photosensors: review and tutorial

Mikhail V. Konnik, James S. Welsh|arXiv (Cornell University)|2014. 12. 11.

CCD and CMOS Imaging Sensors참고 문헌 55인용 수 83

한 줄 요약

이 논문은 CCD 및 CMOS 사진센서의 종합적인 고수준 수치 모델을 제시하며, 광자 쇼트 노이즈, 어둠이 흐름 노이즈, PRNU, FPN, 비선형성 등을 포함한 다양한 노이즈 원천을 현실적인 통계 분포를 사용해 시뮬레이션한다. 자체 개발한 5T CMOS 센서와의 검증을 통해, 초기화된 감도가 긴 노출 시간에서 어둠이 흐름 FPN을 고려한 감마, 균일, 가우시안 분포의 중첩을 통해 정확하게 재현함으로써, 알고리즘 테스트를 위한 고해상도 합성 영상 생성이 가능하다.

ABSTRACT

In many applications, such as development and testing of image processing algorithms, it is often necessary to simulate images containing realistic noise from solid-state photosensors. A high-level model of CCD and CMOS photosensors based on a literature review is formulated in this paper. The model includes photo-response non-uniformity, photon shot noise, dark current Fixed Pattern Noise, dark current shot noise, offset Fixed Pattern Noise, source follower noise, sense node reset noise, and quantisation noise. The model also includes voltage-to-voltage, voltage-to-electrons, and analogue-to-digital converter non-linearities. The formulated model can be used to create synthetic images for testing and validation of image processing algorithms in the presence of realistic images noise. An example of the simulated CMOS photosensor and a comparison with a custom-made CMOS hardware sensor is presented. Procedures for characterisation from both light and dark noises are described. Experimental results that confirm the validity of the numerical model are provided. The paper addresses the issue of the lack of comprehensive high-level photosensor models that enable engineers to simulate realistic effects of noise on the images obtained from solid-state photosensors.

연구 동기 및 목표

• 고체 상태 사진센서에서 현실적인 노이즈를 시뮬레이션하기 위한 종합적인 고수준 모델의 부족을 해결하기 위해.
• CCD 및 CMOS 센서에 모두 적용 가능한 통합 수치 모델을 개발하여, 정규 분포를 초월한 다양한 노이즈 원천을 포괄하기 위해.
• 자체 개발한 5T CMOS 사진센서의 실험 데이터를 기반으로 모델을 검증하여 실제 센서 동작에 대한 정밀도를 확보하기 위해.
• 긴 노출 시간에서 어둠이 흐름 고정패턴 노이즈(FPN)는 정규 분포가 아닌 초월 분포의 중첩이 필요함을 입증하기 위해.
• 연구자들이 실제 노이즈 조건에서 영상 처리 알고리즘을 시뮬레이션하고 테스트할 수 있도록 무료로 제공되는 MATLAB 기반 소프트웨어 구현을 제공하기 위해.

제안 방법

• 10개의 노이즈 원천(사진응답 비균일성(PRNU), 광자 쇼트 노이즈, 어둠이 흐름 FPN, 어둠이 흐름 쇼트 노이즈, 오프셋 FPN, 소스 팔로워 노이즈, 센스 노드 리셋 노이즈, 양자화 노이즈, V/V 및 V/e 비선형성 포함)을 통합한 고수준 사진센서 모델을 수립하기 위해.
• 전압-전압 및 전압-전자 변환의 비선형성을 로그노멀 분포로 모델링하고, ADC 비선형성도 포함하기 위해.
• 긴 노출 시간에서 어둠이 흐름 FPN의 복잡한 구조를 기술하기 위해 감마, 균일, 가우시안 분포의 중첩 확률 분포를 사용하기 위해.
• 사용자가 매개변수 조정을 통해 노이즈 원천과 비선형성을 켜고 끄는 것이 가능한 모듈식 기반의 함수 기반 시스템으로 MATLAB에 모델을 구현하기 위해.
• 빛 및 어둠의 프레임을 사용하여 노이즈 매개변수를 추출하고, PTC(광자 전이 곡선) 분 析를 포함한 센서 특성 분석을 수행하기 위해.
• 자체 개발한 5T CMOS 센서의 실험 데이터와 시뮬레이션 출력을 비교하여, 다양한 노출 시간에서 모델 정확도를 검증하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 고수준 사진센서 모델이 CCD 및 CMOS 센서에서 다양한 비정규 노이즈 원천의 병합 효과를 정확하게 시뮬레이션할 수 있는가?
• RQ2 긴 노출 시간에서 어둠이 흐름 FPN의 복잡한 구조를 가장 잘 기술하는 통계 분포는 무엇인가?
• RQ3 V/V 및 V/e 비선형성의 포함 여부가 선형 모델 대비 시뮬레이션된 센서 노이즈의 현실성에 미치는 영향은 어느 정도인가?
• RQ4 단일 고수준 모델이 적절한 노이즈 원천 설정을 통해 CCD 및 CMOS 센서의 동작을 효과적으로 시뮬레이션할 수 있는가?
• RQ5 모델이 실제 하드웨어 센서와의 검증을 통해 실험적 PTC 및 어둠 신호 분포를 얼마나 잘 재현하는가?

주요 결과

• 긴 노출 시간에서 어둠이 흐름 FPN의 복잡한 통계적 구조는 감마, 균일, 가우시안 성분의 중첩 분포를 사용하여 성공적으로 재현되었다.
• 단일 가우시안 분포보다 감마 분포에 균일 및 가우시안 분포를 중첩한 모델이 실험적 어둠 신호 데이터에 훨씬 더 잘 맞는 것으로 나타났다.
• 실제 5T CMOS 센서의 광자 전이 곡선(PTC)을 정확히 재현하기 위해 V/V, V/e, ADC 비선형성의 포함이 필수적이었다.
• 짧은 노출 시간(<100 s)에서는 어둠이 흐름 FPN이 로그노멀 분포로 잘 기술되지만, 더 긴 노출 시간에는 추가적인 중첩 분포가 필요하다.
• 모델의 예측 결과는 실험적 PTC 측정치와 매우 유사하게 일치하여, 알고리즘 테스트를 위한 현실적인 센서 노이즈 시뮬레이션 능력을 입증하였다.
• GitHub 및 이메일을 통해 공개된 MATLAB 기반 소프트웨어 구현은 연구자들이 구성 가능한 노이즈 원천과 비선형성을 가진 현실적인 센서 노이즈를 시뮬레이션할 수 있도록 한다.