[論文レビュー] Toward Convolutional Blind Denoising of Real Photographs

Shi Guo, Zifei Yan+3 more|arXiv (Cornell University)|Jul 12, 2018

Image and Signal Denoising Methods参考文献 60被引用数 62

ひとこと要約

CBDNetは、現実的なPoisson-GaussianノイズモデルとISPを用いて実写真のブラインドデノイズを学習し、合成および実データのノイズ画像の両方で訓練され、インタラクティブデノイジングのための非対称損失を備えた埋め込みノイズ推定サブネットワークを持つ。

ABSTRACT

While deep convolutional neural networks (CNNs) have achieved impressive success in image denoising with additive white Gaussian noise (AWGN), their performance remains limited on real-world noisy photographs. The main reason is that their learned models are easy to overfit on the simplified AWGN model which deviates severely from the complicated real-world noise model. In order to improve the generalization ability of deep CNN denoisers, we suggest training a convolutional blind denoising network (CBDNet) with more realistic noise model and real-world noisy-clean image pairs. On the one hand, both signal-dependent noise and in-camera signal processing pipeline is considered to synthesize realistic noisy images. On the other hand, real-world noisy photographs and their nearly noise-free counterparts are also included to train our CBDNet. To further provide an interactive strategy to rectify denoising result conveniently, a noise estimation subnetwork with asymmetric learning to suppress under-estimation of noise level is embedded into CBDNet. Extensive experimental results on three datasets of real-world noisy photographs clearly demonstrate the superior performance of CBDNet over state-of-the-arts in terms of quantitative metrics and visual quality. The code has been made available at https://github.com/GuoShi28/CBDNet.

研究の動機と目的

• 複雑な現実世界ノイズとISP効果のため、AWGNに基づくモデルを超える現実写真のノイズ除去を動機づける。
• トレーニングデータを合成するために、カメラ内処理を含む現実的なPoisson-Gaussianノイズモデルを提案する。
• 信号依存ノイズに対処するため、ノイズ推定サブネットワークとノンブラインドデノイジングネットワークを備えたCBDNetを開発する。
• 実ノイズへの一般化を改善し、ノイズレベルの調整によるインタラクティブデノイジングを可能にするため、非対称損失を導入する。

提案手法

• 現実世界のノイズを、信号依存成分と定常成分を持つヘテロスケダスGaussianとしてISP効果とともにモデル化する。
• 画像と推定ノイズマップを用いてデノイズを行う、ノイズレベル推定のためのCNN_EとデノイズのためのCNN_D（U-Net）という2つのサブネットワークから成るCBDNetを構築する。
• 現実的なノイズモデルで生成された合成ノイズ画像と実ノイズ-クリーン対を混在させ、訓練中にバッチを交互に切り替えて学習する。
• ノイズ推定に非対称損失を用いてノイズの過小評価をより強くペナルティ付与し、推定ノイズマップの平滑化のためにTV損失を併用する。
• デノイザーへ入力する前に推定ノイズマップをスケールすることでインタラクティブなデノイジングを可能にする。
• 定性的な結果の評価時に視覚品質を向上させるために、オプションで知覚損失を組み込む。

実験結果

リサーチクエスチョン

• RQ1 現実写真のデノイズを、現実的なノイズモデルを採用することでAWGNベースの訓練を超えてどのように改善できるか？
• RQ2 訓練時に合成ノイズ画像と実ノイズ画像の両方を組み込むことは、現実世界のノイズへの一般化を改善するのか？
• RQ3 非対称損失を持つ専用のノイズ推定サブネットワークは堅牢性を高め、実ノイズ画像に対するインタラクティブデノイジングを可能にするか？
• RQ4 実画像におけるカメラ内処理ステップ（ISP）の含有がデノイジング性能に与える影響は何か？

主な発見

• CBDNetは、PSNR/SSIMと視覚品質の点で現実世界のノイズデータセットに対して最先端手法を超える性能を達成する。
• Poisson-GaussianにISPを加えたノイズモデル化は、デノイズの利得を大きく改善し、特にAWGNベースのモデルより効果的である。
• 訓練時に合成ノイズ画像と実ノイズ画像を組み合わせると、実データにおけるPSNRが改善される（DNDで0.3–0.5 dBと報告）。
• ノイズ推定の非対称損失は、未知の実ノイズへの一般化を助け、特に過小推定エラーに対して効果的である。
• 推定ノイズマップをスケールすることによるインタラクティブデノイジング機能は、テクスチャとディテールのユーザー制御復元を可能にする。