[论文解读] High-level numerical simulations of noise in CCD and CMOS photosensors: review and tutorial

Mikhail V. Konnik, James S. Welsh|arXiv (Cornell University)|Dec 11, 2014

CCD and CMOS Imaging Sensors参考文献 55被引用 83

一句话总结

本文提出了一种全面的CCD和CMOS图像传感器高阶数值模型，通过使用现实的统计分布模拟多种噪声源（如光子散粒噪声、暗电流散粒噪声、PRNU、FPN以及非线性效应），实现了对复杂暗电流FPN的高保真度合成图像生成。该模型基于自研5T CMOS传感器的实测数据进行了验证，通过叠加伽马分布、均匀分布和正态分布，精确再现了长积分时间下的复杂暗电流FPN特性，适用于算法测试的高保真合成图像生成。

ABSTRACT

In many applications, such as development and testing of image processing algorithms, it is often necessary to simulate images containing realistic noise from solid-state photosensors. A high-level model of CCD and CMOS photosensors based on a literature review is formulated in this paper. The model includes photo-response non-uniformity, photon shot noise, dark current Fixed Pattern Noise, dark current shot noise, offset Fixed Pattern Noise, source follower noise, sense node reset noise, and quantisation noise. The model also includes voltage-to-voltage, voltage-to-electrons, and analogue-to-digital converter non-linearities. The formulated model can be used to create synthetic images for testing and validation of image processing algorithms in the presence of realistic images noise. An example of the simulated CMOS photosensor and a comparison with a custom-made CMOS hardware sensor is presented. Procedures for characterisation from both light and dark noises are described. Experimental results that confirm the validity of the numerical model are provided. The paper addresses the issue of the lack of comprehensive high-level photosensor models that enable engineers to simulate realistic effects of noise on the images obtained from solid-state photosensors.

研究动机与目标

• 为解决现有高阶模型在模拟固态图像传感器中真实噪声方面的不足。
• 开发一种适用于CCD和CMOS传感器的统一数值模型，能够捕捉超出高斯假设的多种噪声源。
• 基于自研5T CMOS图像传感器的实验数据对模型进行验证，确保其与真实传感器行为的高度一致。
• 证明在长积分时间下，暗电流固定图案噪声（FPN）需要采用非高斯叠加分布才能实现准确建模。
• 为研究人员提供一个基于MATLAB的免费软件实现，用于在真实噪声条件下模拟和测试图像处理算法。

提出的方法

• 构建一个集成10种噪声源的高阶图像传感器模型：光电响应非均匀性（PRNU）、光子散粒噪声、暗电流FPN、暗电流散粒噪声、偏置FPN、源极跟随器噪声、感测节点复位噪声、量化噪声，以及V/V和V/e非线性效应。
• 采用对数正态分布建模电压到电压和电压到电子的转换非线性，同时包含ADC非线性效应。
• 利用叠加的概率分布（伽马分布、均匀分布、正态分布）描述长积分时间下的复杂暗电流FPN。
• 在MATLAB中实现该模型，采用模块化函数式架构，用户可通过参数调节自由开关噪声源和非线性效应。
• 通过光照和暗帧数据对传感器进行表征，提取噪声参数，包括PTC（光子转移曲线）分析。
• 将模拟输出与自研5T CMOS传感器的实验数据进行对比，验证模型在不同积分时间下的准确性。

实验结果

研究问题

• RQ1 如何通过高阶图像传感器模型准确模拟CCD和CMOS传感器中多种非高斯噪声源的综合效应？
• RQ2 何种统计分布最能描述长积分时间下暗电流FPN的复杂结构？
• RQ3 与线性模型相比，V/V和V/e非线性效应在多大程度上影响模拟传感器噪声的真实性？
• RQ4 一个单一的高阶模型是否能通过适当的噪声源配置有效模拟CCD和CMOS传感器的行为？
• RQ5 当基于真实硬件传感器进行验证时，该模型在重现实验PTC和暗信号分布方面表现如何？

主要发现

• 该模型通过伽马分布、均匀分布和正态分布的叠加，成功再现了长积分时间下暗电流FPN的复杂统计结构。
• 与单一正态分布相比，采用伽马分布叠加均匀和正态分布的组合对实验暗信号数据的拟合效果显著更优。
• 在模型中引入非线性效应（V/V、V/e、ADC）对于匹配真实5T CMOS传感器的光子转移曲线（PTC）至关重要。
• 在短积分时间（<100 s）下，暗电流FPN可用对数正态分布良好描述，而长时间曝光则需要额外的叠加分布。
• 模型的预测结果与实验PTC测量值高度吻合，证实其具备模拟真实传感器噪声以支持算法测试的能力。
• 基于MATLAB的软件实现可通过GitHub和电子邮件获取，使研究人员能够灵活配置噪声源和非线性效应，实现真实感传感器噪声的模拟。