[論文レビュー] High-level numerical simulations of noise in CCD and CMOS photosensors: review and tutorial

Mikhail V. Konnik, James S. Welsh|arXiv (Cornell University)|Dec 11, 2014

CCD and CMOS Imaging Sensors参考文献 55被引用数 83

ひとこと要約

本稿では、光子散粒雑音、ダーク電流散粒雑音、PRNU、FPN、非線形性などを含む複数の雑音源を、現実的な統計的分布を用いてシミュレートする包括的な高水準のCCDおよびCMOSフォトセンサーモデルを提示する。独自に開発した5T CMOSセンサに対して検証された本モデルは、長時間露光における複雑なダーク電流FPNを、ガンマ分布、一様分布、正規分布の重ね合わせを用いて正確に再現可能であり、アルゴリズムのテストに適した高精度な合成画像生成を可能にする。

ABSTRACT

In many applications, such as development and testing of image processing algorithms, it is often necessary to simulate images containing realistic noise from solid-state photosensors. A high-level model of CCD and CMOS photosensors based on a literature review is formulated in this paper. The model includes photo-response non-uniformity, photon shot noise, dark current Fixed Pattern Noise, dark current shot noise, offset Fixed Pattern Noise, source follower noise, sense node reset noise, and quantisation noise. The model also includes voltage-to-voltage, voltage-to-electrons, and analogue-to-digital converter non-linearities. The formulated model can be used to create synthetic images for testing and validation of image processing algorithms in the presence of realistic images noise. An example of the simulated CMOS photosensor and a comparison with a custom-made CMOS hardware sensor is presented. Procedures for characterisation from both light and dark noises are described. Experimental results that confirm the validity of the numerical model are provided. The paper addresses the issue of the lack of comprehensive high-level photosensor models that enable engineers to simulate realistic effects of noise on the images obtained from solid-state photosensors.

研究の動機と目的

• 固体フォトセンサにおける現実的な雑音をシミュレートする包括的な高水準モデルの不足に対処すること。
• CCDおよびCMOSセンサに適用可能な統一された数値モデルを構築し、ガウス分布を越える多様な雑音源を捉えること。
• 独自に開発した5T CMOSフォトセンサからの実験データを用いてモデルを検証し、実世界のセンサ動作に忠実であることを保証すること。
• 長時間露光におけるダーク電流固定パターン雑音（FPN）は、正確なモデル化のため、非ガウス的かつ重ね合わせの分布を必要とすることを示すこと。
• 研究者が画像処理アルゴリズムを現実的な雑音条件下でシミュレート・テストできるよう、自由に利用可能なMATLABベースのソフトウェア実装を提供すること。

提案手法

• 10の雑音源（フォトレスポンス非均一性（PRNU）、光子散粒雑音、ダーク電流FPN、ダーク電流散粒雑音、オフセットFPN、ソースフォロワ雑音、センスノードリセット雑音、量子化雑音、およびV/VおよびV/eの非線形性）を統合した高水準フォトセンサーモデルを構築する。
• 電圧-電圧および電圧-電子変換における非線形性を、対数正規分布を用いてモデル化し、ADCの非線形性も含める。
• 長時間露光における複雑なダーク電流FPNを記述するために、重ね合わせ確率分布（ガンマ分布、一様分布、正規分布）を用いる。
• MATLABを用いて、モジュラー関数ベースのシステムとしてモデルを実装し、パrameter調整により雑音源や非線形性のオン/オフをユーザーが切り替え可能にする。
• 光フレームおよびダークフレームを用いてセンサを特徴付け、PTC（光子転送曲線）分析を含む雑音パラメータを抽出する。
• シミュレート出力と、独自に開発した5T CMOSセンサからの実験データを比較し、さまざまな露光時間におけるモデルの正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 高水準フォトセンサーモデルは、CCDおよびCMOSセンサにおける複数の非ガウス的雑音源の組み合わせ効果をどのように正確にシミュレートできるか？
• RQ2 長時間露光におけるダーク電流FPNの複雑な構造を最もよく記述する統計的分布は何か？
• RQ3 V/VおよびV/eの非線形性を含めたモデルは、線形モデルと比較して、どの程度シミュレートされたセンサ雑音の現実性を向上させるか？
• RQ4 1つの高水準モデルが、適切な雑音源設定を用いて、CCDおよびCMOSセンサの両方の動作を効果的にシミュレートできるか？
• RQ5 本モデルは、実機センサとの検証において、PTCおよびダーク信号分布をどの程度正確に再現できるか？

主な発見

• 本モデルは、ガンマ分布、一様分布、正規分布の重ね合わせを用いることで、長時間露光におけるダーク電流FPNの複雑な統計的構造を正確に再現できた。
• 単一のガウス分布よりも、ガンマ分布に一様分布および正規分布を重ね合わせた分布が、実験的ダーク信号データに著しく良好に適合した。
• V/V、V/e、ADCの非線形性をモデルに組み込むことは、実際の5T CMOSセンサの光子転送曲線（PTC）を正確に再現するために不可欠であった。
• 短時間露光（<100 s）ではダーク電流FPNは対数正規分布で十分に記述可能であるが、長時間露光では追加の重ね合わせ分布が必要である。
• 本モデルの予測値は、実験的PTC測定値とよく一致しており、アルゴリズムのテストに適した現実的なセンサ雑音をシミュレートできる能力を確認した。
• GitHubおよび電子メール経由で入手可能なMATLABベースのソフトウェア実装により、研究者が設定可能な雑音源および非線形性を有する現実的なセンサ雑音をシミュレートできるようになった。