[論文レビュー] Pseudo-ISP: Learning Pseudo In-camera Signal Processing Pipeline from A Color Image Denoiser

Yue Cao, Xiaohe Wu+4 more|arXiv (Cornell University)|Mar 18, 2021

Image and Signal Denoising Methods参考文献 46被引用数 4

ひとこと要約

本稿では、非ペairedなテストノイズあり・ノイズなし画像から、偽のカメラ内信号処理（ISP）パイプラインと信号依存性のrawRGBノイズモデルを同時に学習することで、訓練データとは異なるセンサーのノイズおよびISPパイプラインを持つ現実世界のノイズあり画像に、事前に学習済みのカラー画像ノイズ除去器を適応させる、Pseudo-ISPと呼ばれる非ペア学習フレームワークを提案する。学習した偽ISPとノイズモデルを用いて現実的なノイズありsRGB画像を合成することで、効果的なノイズ除去器のファインチューニングが可能となり、CBDNet や RIDNet といった最先端モデルも含む多様な現実世界データセットにおいて顕著な性能向上が達成される。

ABSTRACT

The success of deep denoisers on real-world color photographs usually relies on the modeling of sensor noise and in-camera signal processing (ISP) pipeline. Performance drop will inevitably happen when the sensor and ISP pipeline of test images are different from those for training the deep denoisers (i.e., noise discrepancy). In this paper, we present an unpaired learning scheme to adapt a color image denoiser for handling test images with noise discrepancy. We consider a practical training setting, i.e., a pre-trained denoiser, a set of test noisy images, and an unpaired set of clean images. To begin with, the pre-trained denoiser is used to generate the pseudo clean images for the test images. Pseudo-ISP is then suggested to jointly learn the pseudo ISP pipeline and signal-dependent rawRGB noise model using the pairs of test and pseudo clean images. We further apply the learned pseudo ISP and rawRGB noise model to clean color images to synthesize realistic noisy images for denoiser adaption. Pseudo-ISP is effective in synthesizing realistic noisy sRGB images, and improved denoising performance can be achieved by alternating between Pseudo-ISP training and denoiser adaption. Experiments show that our Pseudo-ISP not only can boost simple Gaussian blurring-based denoiser to achieve competitive performance against CBDNet, but also is effective in improving state-of-the-art deep denoisers, e.g., CBDNet and RIDNet.

研究の動機と目的

• 訓練データとは異なるセンサーのノイズおよびISPパイプラインを持つテスト画像に適用した際の深層ノイズ除去器の性能低下（ノイズ不一致）を解消すること。
• テストドメインのペアノイズあり・ノイズなしデータが入手できない状況下で、テスト用ノイズあり画像と非ペアのノイズなし画像のみを用いて、事前に学習済みのノイズ除去器を適応可能にすること。
• 事前に学習済みのノイズ除去器を活用して偽ノイズなし画像を生成することで、sRGB画像用の現実的なノイズモデルと偽ISPパイプラインを学習すること。
• 合成されたノイズあり画像を用いて、偽ISP学習とノイズ除去器のファインチューニングを交互に繰り返すことで、ノイズモデリングとノイズ除去性能の両方を段階的に向上させること。

提案手法

• テスト用ノイズあり画像から事前に学習済みのノイズ除去器を用いて偽ノイズなし画像を生成し、非ペアのテスト用ノイズあり画像と偽ノイズなし画像のペアを構築する。
• sRGB2Raw（逆ISP）、ノイズ推定（偽rawRGBにおける信号依存性ノイズをモデル化）、Raw2sRGB（順方向ISP）の3つのサブネットワークを有するPseudo-ISPモデルを提案し、カメラパイプラインを模倣する。
• 非ペア画像ペア上でPseudo-ISPモデルをエンドツーエンドに訓練し、現実的なrawRGBノイズモデルと偽ISP変換を学習する。
• 学習したPseudo-ISPとノイズモデルを用いて、ノイズなし画像から現実的なノイズありsRGB画像を合成し、ノイズ除去器のファインチューニングに使用する合成ペアデータを生成する。
• 偽ISP学習とノイズ除去器のファインチューニングを交互に繰り返し、ノイズモデリングとノイズ除去性能の両方を段階的に改善する。
• 弱い（例：ガウスノイズ）および強い（例：CBDNet、RIDNet）事前学習済みノイズ除去器の両方を対象として適用し、本手法の広範な適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 非ペアのノイズあり・ノイズなし画像のみを用いて、未知かつ不一致するセンサーのノイズおよびISPパイプラインを持つ現実世界のノイズあり画像に、事前に学習済みのノイズ除去器を効果的に適応できるか。
• RQ2 非ペアのテスト用ノイズあり画像と偽ノイズなし画像ペアから、現実的な信号依存性ノイズモデルと偽ISPパイプラムをどのように学習できるか。
• RQ3 Pseudo-ISPモデルから合成されたノイズあり画像は、未観測のテストデータセットにおけるノイズ除去器の一般化性能と性能をどの程度向上できるか。
• RQ4 本手法の非ペア学習スキームは、標準的なファインチューニングやデータ拡張ベースラインを上回る性能を示すか。
• RQ5 Pseudo-ISPは、ノイズ特性が異なる多様な現実世界データセットにおいて、古典的および最先端の深層ノイズ除去器の両方を向上させることができるか。

主な発見

• Pseudo-ISPは、単純なガウスぼかしベースのノイズ除去器に対しても、現実世界データセットでCBDNetと同等の性能を達成する。
• CBDNet や RIDNet、PT-MWRN といった最先端のノイズ除去器に対しても性能向上を示し、DNDデータセットにおいてはCBDNetで最大0.53 dB、RIDNetで0.17 dBのPSNR向上を達成した。
• SIDDPlusでは、SIDDの訓練セットとは大きなノイズ不一致を示すが、Pseudo-ISPは0.5 dBを超える顕著なPSNR向上を達成し、優れた一般化性能を示した。
• JPEG圧縮や複雑なデモザイキングを伴う挑戦的なデータセット（CC15 や MIT-IP8）に対しても、Pseudo-ISPはPSNRで0.3–0.4 dBの向上を達成した。
• 標準的なファインチューニングやデータ拡張ベースラインよりも明確に優れた性能を示し、長時間のトレーニングによる差異ではない。
• Pseudo-ISPでファインチューニングされたPT-MWRN*は、5つのデータセットすべてで最高のPSNRを達成し、SIDDPlusでは2番目に良い手法DIDNを0.44 dB上回った。