[論文レビュー] Variational Denoising Network: Toward Blind Noise Modeling and Removal

Zongsheng Yue, Hongwei Yong+3 more|arXiv (Cornell University)|Aug 29, 2019

Image and Signal Denoising Methods被引用数 212

ひとこと要約

本論文は Variational Denoising Network (VDN) を提案する。ベイズ的変分推論フレームワークで、単一のノイズ画像から潜在的なクリーン画像と非-i.i.d. ノイズ分布を共同推定し、ブラインドノイズ除去を実現する。D-Net と S-Net を用いて実装されている。

ABSTRACT

Blind image denoising is an important yet very challenging problem in computer vision due to the complicated acquisition process of real images. In this work we propose a new variational inference method, which integrates both noise estimation and image denoising into a unique Bayesian framework, for blind image denoising. Specifically, an approximate posterior, parameterized by deep neural networks, is presented by taking the intrinsic clean image and noise variances as latent variables conditioned on the input noisy image. This posterior provides explicit parametric forms for all its involved hyper-parameters, and thus can be easily implemented for blind image denoising with automatic noise estimation for the test noisy image. On one hand, as other data-driven deep learning methods, our method, namely variational denoising network (VDN), can perform denoising efficiently due to its explicit form of posterior expression. On the other hand, VDN inherits the advantages of traditional model-driven approaches, especially the good generalization capability of generative models. VDN has good interpretability and can be flexibly utilized to estimate and remove complicated non-i.i.d. noise collected in real scenarios. Comprehensive experiments are performed to substantiate the superiority of our method in blind image denoising.

研究の動機と目的

• 実世界のノイズが非-i.i.d.で事前定義が難しいブラインド画像ノイズ除去の動機づけと対処。
• クリーン画像と画素ごとのノイズ分散を潜在変数として扱う完全なベイズモデルを提案する。
• 頑健な推論とノイズ推定のために明示的な後方分布を生み出す変分推論フレームワークを開発する。
• トレーニングデータを超える複雑なノイズ分布へ広く一般化することを示す。

提案手法

• 非独立同分布の画素ごとガウスノイズを用いて y_i ~ N(z_i, sigma_i^2) と定式化する。
• xを事前分布として用き、z_i ~ N(x_i, epsilon_0^2) と仮定する（シミュレートされたクリーン画像 x を prior とする）。
• sigma_i^2 ~ IG(p^2/2 - 1, p^2 xi_i/2) を、xi_i がガウスフィルタされた分散マップから得られるとして配置する。
• D-Net と S-Net が mu_i, m_i^2, alpha_i, beta_i を予測する形で、q(z|y) および q(sigma^2|y) の変分後方分布を採用する。
• log p(y) の取り扱い可能な変分下界を最大化し、エンドツーエンドのトレーニング目的を導出する。
• テスト時には、D-Net からの mu を用いてデノイズ済み画像を出力し、S-Net から推定されたノイズ分散を得る。

実験結果

リサーチクエスチョン

• RQ1 事前に正確なノイズモデルを知らずに、空間的に変動するノイズを同時にデノイズし推定できる統一的なベイズフレームワークは実現可能か。
• RQ2 明示的な後方分布形式を持つ変分アプローチは、従来のCNN denoisers と比べて未知の非-i.i.d. ノイズへの一般化を改善するか。
• RQ3 D-Net/S-Net アーキテクチャは、単一のノイズ画像から潜在クリーン画像と画素ごとのノイズ分散の両方をどれだけうまく回復できるか。
• RQ4 明示的なノイズモデリングは、解釈可能なノイズマップと合成・実世界のデータセット全体での頑健な denoising を提供するか。

主な発見

• VDN は複数のテストセットにおける合成の非-i.i.d. ガウスノイズで競合法を上回る。
• VDN は 非-i.i.d. ノイズで FFDNet より高い PSNR を達成し、トレーニングノイズバイアスへの過学習が少ない。
• VDN は 混合データセットで訓練した後、実世界ベンチマーク SIDD および DND で競争力がある、または優れた結果を示す。
• S-Net は 画像内容とノイズのリアリズムと相関する妥当なノイズ分散マップを予測できる。
• 本フレームワークは AWGN 下でも堅牢で、推定されたノイズ分散統計を通じた解釈性をサポートする。
• epsilon_0^2 が非常に小さく設定されると MSE 損失が退化し、純粋に識別的なモデルにおける過学習の説明となる。