[論文レビュー] A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising

Kaixuan Wei, Ying Fu+2 more|arXiv (Cornell University)|Mar 28, 2020

Image and Signal Denoising Methods参考文献 57被引用数 15

ひとこと要約

本論文は、極端な低照度raw画像のノイズ除去を目的とした物理ベースのノイズ形成モデルを提案する。このモデルは、フォトンショットノイズ、ピクセル回路ノイズ、量子化ノイズといったCMOSセンサのノイズ源を正確に捉え、高精度な合成データの生成を可能にする。さまざまなカメラのノイズパラメータをキャリブレーションすることで、実際のデータとペairedなデータで学習したモデルに匹敵またはそれを上回る性能を達成するニューラルネットワークを、合成データのみで学習させることで、カメラ機器間での一般化性能を顕著に向上させる。

ABSTRACT

Lacking rich and realistic data, learned single image denoising algorithms generalize poorly to real raw images that do not resemble the data used for training. Although the problem can be alleviated by the heteroscedastic Gaussian model for noise synthesis, the noise sources caused by digital camera electronics are still largely overlooked, despite their significant effect on raw measurement, especially under extremely low-light condition. To address this issue, we present a highly accurate noise formation model based on the characteristics of CMOS photosensors, thereby enabling us to synthesize realistic samples that better match the physics of image formation process. Given the proposed noise model, we additionally propose a method to calibrate the noise parameters for available modern digital cameras, which is simple and reproducible for any new device. We systematically study the generalizability of a neural network trained with existing schemes, by introducing a new low-light denoising dataset that covers many modern digital cameras from diverse brands. Extensive empirical results collectively show that by utilizing our proposed noise formation model, a network can reach the capability as if it had been trained with rich real data, which demonstrates the effectiveness of our noise formation model.

研究の動機と目的

• 合成データで学習した単一画像ノイズ除去ネットワークの一般化性能が極めて低い、特に極端な低照度条件下での問題に対処すること。
• 低照度画像処理において性能を低下させる、これまで無視されがちなCMOSセンサの電子的ノイズ源を特定し、モデル化すること。
• 任意の現代のデジタルカメラからノイズパラメータを推定する再現性のあるキャリブレーション手法を開発すること。
• 提案されたノイズモデルの有効性と、多様なカメラブランドやモデルにおける一般化性能を評価すること。

提案手法

• 著者らは、CMOSセンサにおけるフォトンショットノイズ、ピクセル回路ノイズ、量子化ノイズを考慮した、細分化された物理ベースの手法でraw画像のノイズをモデル化する。
• 極端な低照度条件下でも現実的なノイズ特性を再現する、合成画像パイプラインを設計する。
• 清澄なraw画像と数枚のノイズ付きキャプチャ画像のみを用いて、カメラ固有のノイズパラメータを推定するシンプルで再現性のあるキャリブレーション手法を提案する。
• 提案されたモデルで生成した合成データのみで学習したU-Netベースのノイズ除去ネットワークを訓練し、ノイズモデルの妥当性を検証する。
• 本手法は、スマートフォンやDSLRを含む4つの主要ブランドをカバーする、新たに収集された極端な低照度ノイズ除去（ELD）データセットを用いて評価される。
• SIDデータセットからのペアド実データで学習したモデルと比較するため、等分散および非等分散ガウスモデルに対しても評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 フォトンショットノイズ、ピクセル回路ノイズ、量子化ノイズといったCMOSセンサ固有のノイズ源を捉える物理ベースのノイズモデルは、極端な低照度raw画像の合成において、現実性を向上させることができるか？
• RQ2 提案されたノイズモデルは、従来のガウスベースのモデルと比較して、異なるカメラ機器間での一般化性能にどの程度優れているか？
• RQ3 本モデルから生成した合成データのみで学習したニューラルネットワークは、実データでペアド学習したモデルと同等またはそれ以上の性能を達成できるか、あるいはそれを上回れるか？
• RQ4 モデルの性能は、正確なノイズパラメータキャリブレーションにどの程度依存するか。また、最小限の再キャリブレーションで、異なる機器間でも一般化可能か？

主な発見

• 本物理ベースのノイズモデルから生成した合成データのみで学習したニューラルネットワークは、SIDデータセットからのペアド実データで学習したネットワークと同等またはそれ以上の性能を達成する。
• 従来のガウスベースのノイズモデルでは顕著な問題となるバンドリングアーチファクトや色歪みが、本モデルにより顕著に低減される。これは極端な低照度条件下での顕著な改善である。
• ELDデータセットにおいて、本手法は従来のノイズ除去アルゴリズム（BM3D、A-BM3D）および1つのカメラブランドからのペアド実データで学習したモデルを上回る性能を発揮する。
• ノイズパラメータキャリブレーションプロセスの柔軟性のおかげで、スマートフォンやDSLRを含む多様なカメラ機器間での一般化性能が優れている。
• MIT5Kデータセットからの追加の清澄なraw画像を用いた学習により、色再現性と明るさの回復性能が向上し、スケーラビリティとロバスト性の有効性が示された。
• 再キャリブレーションがなくても、以前にキャリブレーション済みのデバイスからノイズパラメータをサンプリングすることで、1台のカメラで学習したモデルが他のカメラ機器でも同等の性能を達成できる。