[論文レビュー] Physics-based Noise Modeling for Extreme Low-light Photography

Kaixuan Wei, Ying Fu+2 more|arXiv (Cornell University)|Aug 4, 2021

Photoacoustic and Ultrasonic Imaging参考文献 83被引用数 14

ひとこと要約

本稿では、極めて低照度条件下における複雑なノイズ構造を正確に捉える物理ベースのノイズモデルを提案する。このモデルは、従来無視されてきた電子的ノイズ源を含む。このモデルを用いて合成された現実的な訓練データを活用することで、深層畳み込みニューラルネットワークが、実際のペairedデータで訓練されたモデルと同等またはそれ以上の性能を達成し、貴重な実世界の訓練データへの依存度を顕著に低減する。

ABSTRACT

Enhancing the visibility in extreme low-light environments is a challenging task. Under nearly lightless condition, existing image denoising methods could easily break down due to significantly low SNR. In this paper, we systematically study the noise statistics in the imaging pipeline of CMOS photosensors, and formulate a comprehensive noise model that can accurately characterize the real noise structures. Our novel model considers the noise sources caused by digital camera electronics which are largely overlooked by existing methods yet have significant influence on raw measurement in the dark. It provides a way to decouple the intricate noise structure into different statistical distributions with physical interpretations. Moreover, our noise model can be used to synthesize realistic training data for learning-based low-light denoising algorithms. In this regard, although promising results have been shown recently with deep convolutional neural networks, the success heavily depends on abundant noisy clean image pairs for training, which are tremendously difficult to obtain in practice. Generalizing their trained models to images from new devices is also problematic. Extensive experiments on multiple low-light denoising datasets -- including a newly collected one in this work covering various devices -- show that a deep neural network trained with our proposed noise formation model can reach surprisingly-high accuracy. The results are on par with or sometimes even outperform training with paired real data, opening a new door to real-world extreme low-light photography.

研究の動機と目的

• 不正確なノイズモデリングに起因する極めて低照度画像のノイズ除去性能の低さという課題に対処すること。
• CMOSセンサにおいて従来無視されてきた電子的ノイズ源を同定し、それらが低照度条件下でのRAW画像品質に顕著に影響することをモデル化すること。
• 深層学習ベースのノイズ除去のための高忠実度な訓練データ生成を可能にする、現実的なノイズ合成パイプラインを開発すること。
• 異なるカメラデバイス向けに訓練するための、希少でデバイス固有のノイズあり・クリアあり画像ペアに依存するのを減らすこと。
• デバイスに依存しないが物理的に根拠を持つノイズモデルを用いることで、異なるカメラデバイス間での一般化を可能にすること。

提案手法

• ノイズの発生をCMOS画像処理パイプラインの詳細な分析を通じてモデル化し、リードノイズ、ダークカレント、アンプノイズなどの主要なノイズ源を同定する。
• 全ノイズを物理的に解釈可能な成分に分解する包括的なノイズモデルを定式化し、それぞれが異なる統計的分布を有する。
• 信号依存性および異分散性のノイズ特性を含み、低照度条件下で一般的なバンド状パターンのような非ガウス型成分もモデルに組み込む。
• 制御された照明条件下で撮影された少量のRAW画像から、デバイス固有のノイズパラメータを推定するためのキャリブレーション手順を提案する。
• キャリブレーション済みのモデルを用いて、異なる照度レベルにわたる物理的リアリズムを保った合成ノイズ付きRAW画像を生成する。
• 生成された合成データを用いてU-Netベースのノイズ除去ネットワークを訓練し、実世界のベンチマークでその性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 CMOSセンサ内の電子的ノイズ成分は、極めて低照度条件下で複雑なノイズパターンをどのように形成するか？
• RQ2 無視されてきた電子的ノイズ源を含む物理ベースのノイズモデルは、低照度ノイズ除去のための合成訓練データのリアリズムを向上させることができるか？
• RQ3 本稿で提案するノイズモデルによって生成された合成データにのみ訓練された深層学習モデルは、実際のペアデータで訓練されたモデルをどの程度上回るか？
• RQ4 本稿で提案するノイズモデルは、センサ特性が異なるさまざまなカメラデバイス間でどのように一般化するか？
• RQ5 本モデルが生成する合成データは、低照度条件下での深度推定、オプティカルフロー、オブジェクト検出といった下流のビジョンタスクをどのように向上させるか？

主な発見

• 本稿で提案する物理ベースのノイズモデルによって生成された合成データのみで訓練された深層ニューラルネットワークは、SID Sonyデータセットにおいて深度推定でRMSE 0.086を達成し、ペア実データベースライン（RMSE: 0.091）を上回る性能を示した。
• オプティカルフロー推定においては、エンドポイント誤差（EPE）が8.49にまで低下し、ペア実データベースライン（10.36）を顕著に下回り、優れた一般化性能を示した。
• オブジェクト検出においては、平均して1枚あたり3.434個のオブジェクトを認識したが、これはペア実データベースライン（3.233）を上回り、長露光の正解（4.225）に近づいた。
• 提案されたノイズモデルは、従来の異分散ガウス型モデルではモデル化できない複雑なノイズアーティファクト（例えばバンド状パターン）を的確に捉えており、低照度画像においては目に余るノイズとして認識される。
• 本手法により、実際のノイズあり・クリアあり画像ペアを一切必要とせず、多様なカメラデバイス間で高性能なノイズ除去が可能となり、訓練に必要なデータ収集負荷が著しく軽減された。
• 本モデルが生成する合成データにより、トレーニング時に見られなかった複数のカメラデバイスに対しても良好に一般化する1つのモデルを訓練可能となった。