[論文レビュー] Generating Training Data for Denoising Real RGB Images via Camera Pipeline Simulation

Ronnachai Jaroensri, Camille Biscarrat+2 more|arXiv (Cornell University)|Apr 18, 2019

Computer Graphics and Visualization Techniques参考文献 29被引用数 26

ひとこと要約

本論文は、デモザイキング、ノイズ除去、圧縮を含む、実際のRGB画像におけるノイズおよび劣化を正確にモデル化する現実的なカメラパイプラインシミュレータを提案する。このシミュレータを用いてトレーニングデータを生成することで、学習ベースのCNNノイズ除去器は、追加的な白色ガウスノイズ（AWGN）でトレーニングした場合と比較して、実際のJPEG画像において3 dB以上のPSNR向上を達成した。これは、学習ベースの画像修復における一般化性能を高めるために、現実的なノイズモデル化が不可欠であることを示している。

ABSTRACT

Image reconstruction techniques such as denoising often need to be applied to the RGB output of cameras and cellphones. Unfortunately, the commonly used additive white noise (AWGN) models do not accurately reproduce the noise and the degradation encountered on these inputs. This is particularly important for learning-based techniques, because the mismatch between training and real world data will hurt their generalization. This paper aims to accurately simulate the degradation and noise transformation performed by camera pipelines. This allows us to generate realistic degradation in RGB images that can be used to train machine learning models. We use our simulation to study the importance of noise modeling for learning-based denoising. Our study shows that a realistic noise model is required for learning to denoise real JPEG images. A neural network trained on realistic noise outperforms the one trained with AWGN by 3 dB. An ablation study of our pipeline shows that simulating denoising and demosaicking is important to this improvement and that realistic demosaicking algorithms, which have been rarely considered, is needed. We believe this simulation will also be useful for other image reconstruction tasks, and we will distribute our code publicly.

研究の動機と目的

• トレーニングデータ（通常はAWGN）と実世界のカメラノイズとの間のギャップによって生じる、学習ベースの画像ノイズ除去における性能差を解消すること。
• デモザイキング、ノイズ除去、圧縮を含む、完全なカメラ処理チェーンを現実的に再現するシミュレーションパイプラインを開発すること。
• 実世界のJPEG画像に対する深層学習モデルの一般化性能に与える、現実的なノイズモデル化の影響を調査すること。
• 現実的なシミュレーションデータを用いたトレーニングが、標準的なAWGNベースのトレーニングに比べて、実際のテスト画像において優れた性能を示すことを実証すること。

提案手法

• デモザイキング、ノイズ除去、トーンマッピング、圧縮などを含む40以上の設定可能なコンponentを備えたモジュラーなカメラパイプラインシミュレータを実装する。
• 実際のカメラパrameterをカスタマイズして、RAW画像を消費者向けスマートフォンの出力と一致する視覚的に現実的なRGB JPEGに変換する。
• 特にノイズとデモザイキング特性を変化させることで、多様なトレーニングデータセットを生成する。
• 比較評価のため、最先端のCNNノイズ除去器（例：N3Net）を、現実的なシミュレーションデータとAWGNデータの両方でトレーニングする。
• デモザイキング、ノイズ除去、ポストプロセッシングなどのコンponentを段階的に無効化することで、性能への寄与度を評価するアブレーションスタディを実施する。
• 複数のデバイス（Pixel XL、iPhone 8、Samsung Galaxy S7）の実際のテスト画像を用いて、PSNRとSSIMを用いてモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータにおける現実的なノイズモデル化が、実世界のJPEG画像に対する深層学習ベースのノイズ除去器の性能に与える影響は何か？
• RQ2 カメラパイプラインのどのコンponent（例：デモザイキング、ノイズ除去、圧縮）が、現実的なトレーニングデータの生成において最も重要か？
• RQ3 デモザイキングアルゴリズムの選択（例：バイリニア対エッジ対応）が、シミュレートされたデータの品質およびその後のノイズ除去性能に与える影響は何か？
• RQ4 シミュレーションベースのトレーニングアプローチは、標準的なAWGNベースのトレーニングに比べて、実カメラ出力への一般化性能において優れているか？
• RQ5 特定のパイプライン段階（例：ノイズ除去またはデモザイキング）を削除すると、実画像におけるトレーニング済みノイズ除去器の性能はどの程度低下するか？

主な発見

• 本研究で提案するカメラパイプラインシミュレータで生成されたデータを用いてトレーニングしたCNNノイズ除去器は、実際のiPhone 8 JPEG画像で35.2 dBのPSNRを達成し、AWGNでトレーニングしたモデルよりも3 dB優れている。
• シミュレーションパイプラインからノイズ除去またはデモザイキングコンponentを削除すると、性能が著しく低下し、PSNRはそれぞれ34.0 dBおよび33.9 dBに低下する。
• パイプラインにエッジ対応デモザイキングアルゴリズム（KodakおよびAHD）を用いることで、一般的に使用されているバイリニアデモザイキングに比べて2.3 dBのPSNR向上が得られた。
• バイリニアデモザイキングを用いた場合、SSIMスコアが0.07以上低下し、これは現実的なデモザイキングが高品質なノイズ除去に不可欠であることを確認している。
• アブレーションスタディの結果、デモザイキングとノイズ除去の両方の現実的モデル化が、実データにおける一般化性能を高めるために不可欠であることが確認された。
• シミュレータで生成されたデータは、デモザイキングされたRAW画像のノイズ除去において、AWGNベースのトレーニングに比べてPSNRで7–9 dB、SSIMで0.2–0.3の向上を示しており、現実的な前処理の重要性が浮き彫りになった。