[論文レビュー] Noise2Score: Tweedie's Approach to Self-Supervised Image Denoising without Clean Images

Kwanyoung Kim, Jong Chul Ye|arXiv (Cornell University)|Jun 13, 2021

Image and Signal Denoising Methods参考文献 30被引用数 32

ひとこと要約

Noise2Score は Tweedie の formula とスコア関数推定を用いて、指数分布族ノイズで汚染された画像をクリーンな参照なしでノイズ除去する自己教師付きデノイジングを統一します。

ABSTRACT

Recently, there has been extensive research interest in training deep networks to denoise images without clean reference. However, the representative approaches such as Noise2Noise, Noise2Void, Stein's unbiased risk estimator (SURE), etc. seem to differ from one another and it is difficult to find the coherent mathematical structure. To address this, here we present a novel approach, called Noise2Score, which reveals a missing link in order to unite these seemingly different approaches. Specifically, we show that image denoising problems without clean images can be addressed by finding the mode of the posterior distribution and that the Tweedie's formula offers an explicit solution through the score function (i.e. the gradient of log likelihood). Our method then uses the recent finding that the score function can be stably estimated from the noisy images using the amortized residual denoising autoencoder, the method of which is closely related to Noise2Noise or Nose2Void. Our Noise2Score approach is so universal that the same network training can be used to remove noises from images that are corrupted by any exponential family distributions and noise parameters. Using extensive experiments with Gaussian, Poisson, and Gamma noises, we show that Noise2Score significantly outperforms the state-of-the-art self-supervised denoising methods in the benchmark data set such as (C)BSD68, Set12, and Kodak, etc.

研究の動機と目的

• クリーンな参照が利用できない場合の自己教師付きデノイジングの必要性を動機づける。
• Tweedie’s formula を用いて事後平均デノイジングをスコア関数に結びつけるベイズ枠組みを提案する。
• AR-DAE を用いてノイズデータからスコア関数を安定に推定できることを示し、普遍的な訓練を可能にする。
• Gaussian、Poisson、Gammaノイズにおける普遍性を示し、ブラインド/ノイズパラメータの状況を検討する。

提案手法

• デノイジングを、スコア関数 l'(y) = ∇y log p(y) を推定し、Tweedie’s formula を適用して事後平均を得ることとして定式化する。
• 表1の結果を用いて、Gaussian・Poisson・Gammaの指数分布族ノイズに対する閉式デノイジング式を導出する。
• 安定したスコア推定を実現するため、amortized residual denoising autoencoder (AR-DAE) でスコア関数を推定する。
• σa^2 または RΘ(y) 上で明示的なスコア推定 FΘ*(y) − y を生み出す DAE/AR-DAE 目的でネットワークを訓練する。
• 各ノイズモデルについて推定スコアからデノイジング画像を得るために、ポスト処理の Tweedie ステップを適用する。
• 同じネットワーク訓練でノイズタイプを超えて十分であることを強調し、ブラインドパラメータ処理を可能にする。）

実験結果

リサーチクエスチョン

• RQ1 Tweedie’s formula は指数分布族ノイズ全体にわたる統一的でクリーンデータ不要のデノイジングフレームワークを提供できるか。
• RQ2 クリーン画像なしでデノイジングを可能にするため、ノイズ入力からスコア関数をどのように正確かつ安定に推定できるか。
• RQ3 AR-DAE で訓練された単一のニューラルネットワークは、Gaussian、Poisson、Gammaノイズおよび未知のパラメータに対して一般化するか。
• RQ4 スコア推定を Tweedie 後処理ステップから分離することの理論的・実践的な利点は何か。
• RQ5 既知および未知のノイズパラメータの下で、Noise2Score は既存の自己監視法と比較してどのように性能を示すか。

主な発見

• Noise2Score は Tweedie’s formula とスコア関数を介して指数分布族ノイズの自己教師付きデノイジングを統一する。
• AR-DAE は、ノイズモデルを横断して単一のネットワークで動作する、安定で普遍的なスコア推定器を提供する。
• 本法は Gaussian、Poisson、Gamma ノイズに対して、BSD68、Set12、CBSD68、Kodak データセットで競争力のあるまたは優れた PSNR を達成する。
• 同じ訓練済みネットワークは、オンザフライのパラメータ推定によってブラインドノイズ設定に適応でき、異なるノイズレベルの再訓練を回避する。
• Noise2Score は Noise2Void、Noise2Self、SURE よりも、ノイズのタイプに合わせたポスト処理を備えた普遍的でモデル非依存のフレームワークを提供する点で優位性を示す。