[論文レビュー] Noise2Self: Blind Denoising by Self-Supervision

Joshua Batson, Löıc A. Royer|arXiv (Cornell University)|Jan 30, 2019

Cell Image Analysis Techniques被引用数 120

ひとこと要約

論文は Noise2Self を提案します。自己教師ありの J-invariant ノイズ除去法で、入力の一部をマスクしてマスクされた値を予測することにより、クリーンなターゲットなしでノイズ除去を学習します。Gaussian-process 理論と実用的な UNet ベースの実験で支持されています。

ABSTRACT

We propose a general framework for denoising high-dimensional measurements which requires no prior on the signal, no estimate of the noise, and no clean training data. The only assumption is that the noise exhibits statistical independence across different dimensions of the measurement, while the true signal exhibits some correlation. For a broad class of functions ("$\mathcal{J}$-invariant"), it is then possible to estimate the performance of a denoiser from noisy data alone. This allows us to calibrate $\mathcal{J}$-invariant versions of any parameterised denoising algorithm, from the single hyperparameter of a median filter to the millions of weights of a deep neural network. We demonstrate this on natural image and microscopy data, where we exploit noise independence between pixels, and on single-cell gene expression data, where we exploit independence between detections of individual molecules. This framework generalizes recent work on training neural nets from noisy images and on cross-validation for matrix factorization.

研究の動機と目的

• クリーンなグラウンドトゥルースデータを必要としないデノイジング法を動機付け、開発する。
• 自己教師付き予測子をGaussian対応と比較する理論的保証を提供する。
• 実用的なマスキング方式と学習可能なアーキテクチャを提案し、J-invariant デノイザーを実現する。
• ニューラルネットワークと較正分析を用いて多様なデータセットで有効性を示す。

提案手法

• 予測子がマスクされた入力/補間された入力を用いてマスクされた座標を予測する J-invariant 自己監視を定式化する。
• g(x)_J := f_theta(1_J^c * x_J + 1_J * s(x))_J を導入する。s(x) は局所的補間（例えば固定カーネル）である。
• ガウス過程に基づく補題と命題を提示し、ガウス仮定の下で最適な J-invariant 予測子は Gaussian ケースと比べて決して劣らず、x_J^c の条件付けが MSE の上界をもたらすことを示す。
• 情報漏洩の問題とマスキング戦略（Uniform Pixel Selection）を議論し、予測に影響を及ぼさない真の J-invariant スキームを推奨する。
• 自己教師付き予測子と元のノイズ付き入力を線形結合することで PSNR を改善する可能性を探るため、相関のない無偏推定量の線形結合を提案・分析する。
• ランダム化された J（座標のサブセット）と UNet アーキテクチャでの訓練、および真の J-invariance または全入力を直接適用する推論オプションを説明する。

実験結果

リサーチクエスチョン

• RQ1 J-invariant 自己教師あり設定を用いて、デノイジングをクリーンなターゲットなしで効果的に学習できるか。
• RQ2 自己教師付き予測子は平均二乗誤差の点でGaussian ベースラインと比較してどうか。
• RQ3 真の J-invariance を実現しデノイエンス性能を最大化するマスキング/補間戦略はどれか。
• RQ4 自己教師付き予測子と元のノイズ入力を線形結合することは有益か、そしてそれは PSNR にどう影響するか。

主な発見

• Gaussian-process ベースの結果として、自己教師付き J-invariant 予測子は対応する Gaussian 予測子と同等か、それより優れている。 (Proposition 1)
• 特定の条件下で、自己教師付き推定量と生データ入力を最適な線形ミックスで結合すると分散を減らし、PSNR の改善をもたらす可能性がある。 (Section 3.2)
• Uniform Pixel Selection マスキングは J-invariance を確保する配慮がないと予測子にバイアスをもたらす可能性がある。著者らは局所分布を推定する際に予測される値を除外することを提案している。
• ランダム化された J と UNet での訓練は真に J-invariant な予測を生み出し、推論を全入力で行うと評価データセット上で厳密な J-invariant バージョンより約 0.5 dB の PSNR 向上をもたらす。
• 著者らは従来のデノイザ（中央値、ウェーブレット、NL-means）を自己教師付き損失で較正し、グラウンドトゥルース参照なしで最適パラメータを選択している（較正プロット）。
• UNet を用いた漢字データセット、CellNet、ImageNet での実験は、合成ノイズモデルと実ノイズモデルの両方に対して実践的な自己教師付きデノイシングを示す。