[論文レビュー] High-Quality Self-Supervised Deep Image Denoising

Samuli Laine, Tero Karras+2 more|arXiv (Cornell University)|Jan 29, 2019

Image and Signal Denoising Methods参考文献 38被引用数 34

ひとこと要約

自己教師付きのデノイジングフレームワークは、ブラインドスポット畳み込みネットワークとベイズ後処理を用い、クリーンなターゲットやペアデータなしで、ガウス・ポアソン・インパルスノイズに対してほぼ監視付き品質の結果を達成します。未知のノイズパラメータや可変ノイズレベルにも対応します。

ABSTRACT

We describe a novel method for training high-quality image denoising models based on unorganized collections of corrupted images. The training does not need access to clean reference images, or explicit pairs of corrupted images, and can thus be applied in situations where such data is unacceptably expensive or impossible to acquire. We build on a recent technique that removes the need for reference data by employing networks with a "blind spot" in the receptive field, and significantly improve two key aspects: image quality and training efficiency. Our result quality is on par with state-of-the-art neural network denoisers in the case of i.i.d. additive Gaussian noise, and not far behind with Poisson and impulse noise. We also successfully handle cases where parameters of the noise model are variable and/or unknown in both training and evaluation data.

研究の動機と目的

• クリーンな参照が入手できず、データがノイズ付きの画像だけである場合のデノイジングの動機付け。
• マスクペナルティなしで自己教師あり学習を可能にするブラインドスポット畳み込みネットワークアーキテクチャを提案。
• テスト時にノイズ中心ピクセルとノイズモデルを組み込むべくベイズ後処理のステップを導入。
• 複数のノイズモデル（ガウス、ポアソン、インパルス）で未知または可変ノイズパラメータに対するロバストネスを実証。
• 性能トレードオフを確立するために、教師ありのベースラインとマスキングベースの自己教師あり手法と比較。

提案手法

• 中心ピクセルを受容野から除外するブラインドスポットネットワークを用い、単一のノイズ画像での訓練を可能にする。
• context Ω_y からこれらを予測することで μ_x と Σ_x を持つ多変量ガウス分布 p(x|Ω_y) をモデル化するよう訓練する。
• ノイズモデル p(y|x) と学習した事前分布 p(x|Ω_y) を結合して p(x|y,Ω_y) の閉形式事後分布を導出し、デノイジングには事後平均を用いる。
• Σ_x を上三角行列 A_x を用いて Σ_x = A_x^T A_x とパラメータ化し、正定性を保証する。
• ガウスノイズを扱い Σ_y = Σ_x + σ^2 I, μ_y = μ_x を満たす。画像ごとに σ を学習するか、補助ネットワークで予測することも可能。
• 適切なノイズモデル尤度とモーメント整合を用いてポアソンおよびインパルスノイズに拡張し、訓練損失と後方分布を得る（Eq. 1–10）。
• 大型自然画像データセットで訓練し、Kodak、BSD300、Set14 で評価する。5レベルの U-Net バックボーンに3つの1x1層を使用。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習をノイズ付きの未ペア画像で行っても、Gaussian、Poisson、Impulse の一般的なノイズモデルに対して監視学習法に近いデノイジング品質を達成できるか。
• RQ2 マスクを使わず効率的にブラインドスポットアーキテクチャを訓練する方法と、ベイズ後方平均化がデノイジング性能をどう改善するか。
• RQ3 未知または可変ノイズパラメータ（σ、λ、α）は性能を低下させるか、訓練中に学習または推定できるか。
• RQ4 事前分布の多変量相関をモデル化する（Σ_x）ことと、対角共分散に簡略化することの影響は？
• RQ5 提案手法を Noise2C、Noise2Noise、およびマスキングベースの自己教師ありアプローチと品質と訓練効率の両方でどう比較されるか。

主な発見

ノイズタイプ	手法	σ 知っている?	Kodak	BSD300	Set14	平均
Gaussian σ=25	Baseline, N2C	no	32.46	31.08	31.26	31.60
Gaussian σ=25	Baseline, N2N	no	32.45	31.07	31.23	31.58
Gaussian σ=25	Our	yes	32.45	31.03	31.25	31.57
Gaussian σ=25	Our	no	32.44	31.02	31.22	31.56
Gaussian σ=25	Our ablated, diag. Σ	yes	31.60	29.91	30.58	30.70
Gaussian σ=25	Our ablated, diag. Σ	no	31.55	29.87	30.53	30.65
Gaussian σ=25	Our ablated, μ only	no	30.64	28.65	29.57	29.62
Gaussian σ=25	CBM3D	yes	31.82	30.40	30.68	30.96
Gaussian σ=25	CBM3D	no	31.81	30.40	30.66	30.96
Gaussian σ unknown	Baseline, N2C	no	32.57	31.29	31.27	31.71
Gaussian σ unknown	Baseline, N2N	no	32.57	31.29	31.26	31.70
Gaussian σ unknown	Our	yes	32.47	31.19	31.21	31.62
Gaussian σ unknown	Our	no	32.46	31.18	31.13	31.59
Gaussian σ unknown	Our ablated, diag. Σ	yes	31.59	30.06	30.54	30.73
Gaussian σ unknown	Our ablated, diag. Σ	no	31.58	30.05	30.45	30.69
Gaussian σ unknown	Our ablated, μ only	no	30.54	28.56	29.41	29.50
Gaussian σ unknown	CBM3D	yes	31.99	30.67	30.78	31.15
Gaussian σ unknown	CBM3D	no	31.99	30.67	30.72	31.13
Poisson λ=30	Baseline, N2C	no	31.81	30.40	30.45	30.89
Poisson λ=30	Baseline, N2N	no	31.80	30.39	30.44	30.88
Poisson λ=30	Our	yes	31.65	30.25	30.29	30.73
Poisson λ=30	Our	no	31.70	30.28	30.35	30.78
Poisson λ=30	Our ablated, μ only	no	30.22	28.27	29.03	29.17
Poisson λ=30	Anscombe [25] (from [22])	yes	29.15	27.56	28.36	28.62
Poisson λ∈[5,50]	Baseline, N2C	no	31.33	29.91	29.96	30.40
Poisson λ∈[5,50]	Baseline, N2N	no	31.32	29.90	29.96	30.39
Poisson λ∈[5,50]	Our	yes	31.16	29.75	29.82	30.24
Poisson λ∈[5,50]	Our	no	31.02	29.69	28.65	29.79
Poisson λ∈[5,50]	Our ablated, μ only	no	29.88	27.95	28.67	28.84
Poisson λ∈[5,50]	Baseline, Anscombe	yes	—	—	—	—
Impulse α=0.5	Baseline, N2C	no	33.32	31.20	31.42	31.98
Impulse α=0.5	Baseline, N2N	no	32.88	30.85	30.94	31.56
Impulse α=0.5	Our	yes	32.98	30.78	31.06	31.61
Impulse α=0.5	Our	no	32.93	30.71	31.09	31.57
Impulse α=0.5	Our ablated, μ only	no	30.82	28.52	29.05	29.46
Impulse α unknown	Baseline, N2C	no	31.69	30.27	29.77	30.58
Impulse α unknown	Baseline, N2N	no	31.53	30.11	29.51	30.38
Impulse α unknown	Our	yes	31.36	30.00	29.47	30.28
Impulse α unknown	Our	no	31.40	29.98	29.51	30.29
Impulse α unknown	Our ablated, μ only	no	27.16	25.55	25.56	26.09

• Gaussian ノイズの場合、完全なブラインドスポット + 後方平均のアプローチは、監視ベースのベースライン（Noise2Clean）および Noise2Noise にほぼ匹敵し、多変量 Σ_x は対角 Σ_x より優れている。
• 学習された μ_x と Σ_x による後方平均デノイジングは、μ のみのアブレーションやマスキングベースの訓練を著しく上回り、特に色チャネルを結合してモデル化した場合に顕著。
• σ が未知または推定される場合にも方法は競争力を保ち、さらには変動する σ でも、データセット間で高い PSNR を維持し、時にはわずかな低下。
• Poisson ノイズでは、一定ノイズ下で Noise2Clean ベースラインから 0.1–0.2 dB の範囲内に収まり、未知の λ でも頑健だが Set14 など一部データセットでパラメータ推定時に劣化が大きい。
• Impulse ノイズでは、中心ピクセル情報をベイズ融合で大きく活用し、μのみのアブレーションやマスキング訓練を上回る一方で、特定設定では Noise2Clean をやや下回ることがある。
• 総じて、提案された自己教師ありスキームは、多様なノイズモデルに対して監視学習モデルに近いデノイジング品質を達成可能で、訓練効率とデータ要件に利点がある。