[論文レビュー] Zero-Shot Noise2Noise: Efficient Image Denoising without any Data

Youssef Mansour, Reinhard Heckel|arXiv (Cornell University)|Mar 20, 2023

Photoacoustic and Ultrasonic Imaging被引用数 8

ひとこと要約

ZS-N2N は、ノイズのある画像1枚の低解像ビューを対から学習する小さな2層ネットワークを用いて、訓練データやノイズモデルなしで画像をノイズ除去し、低計算コストで競合的な除噪を達成します。

ABSTRACT

Recently, self-supervised neural networks have shown excellent image denoising performance. However, current dataset free methods are either computationally expensive, require a noise model, or have inadequate image quality. In this work we show that a simple 2-layer network, without any training data or knowledge of the noise distribution, can enable high-quality image denoising at low computational cost. Our approach is motivated by Noise2Noise and Neighbor2Neighbor and works well for denoising pixel-wise independent noise. Our experiments on artificial, real-world camera, and microscope noise show that our method termed ZS-N2N (Zero Shot Noise2Noise) often outperforms existing dataset-free methods at a reduced cost, making it suitable for use cases with scarce data availability and limited computational resources. A demo of our implementation including our code and hyperparameters can be found in the following colab notebook: https://colab.research.google.com/drive/1i82nyizTdszyHkaHBuKPbWnTzao8HF9b

研究の動機と目的

• ノイズタイプとレベルを跨ぐデータセットなしの除噪を動機づける。
• データが乏しくCPU導入にも適した最小限で計算効率の良い除噪モデルを開発する。
• Noise2Noise と Neighbour2Neighbour の概念を活用して、1枚のノイズ画像からの訓練を可能にする。
• 除噪品質、一般化、計算資源の良好なトレードオフを実現する。

提案手法

• ノイズ画像 y から非重複の2x2パッチと固定カーネルを用いて、D1(y) と D2(y) の2つの固定ダウンサンプリングビューを作成する。
• 非常に小さな2層の画像対画像ネットワークを訓練し、D1(y) を D2(y) にマッピングする残差学習損失を用いる。
• 清浄な信号よりノイズ成分の学習を促す残差損失を使用する。
• 正則化として対称損失と一貫性損失を導入し、過学習を回避する。
• 学習したネットワークを元のノイズ画像に適用して、x̂ = y − f̂θ(y) としてクリーン画像を推定する。
• 収束には通常1k〜2kの勾配ステップが必要で、CPUにも優しい除噪を可能にする。

Figure 1 : Left and middle plots: PSNR scores for Gaussian and Poission denoising for different noise levels. Note BM3D’s poor performance on Poisson compared to Gaussian noise. Right plot: Time required in seconds to denoise one $256\times 256$ colour image on CPU and GPU, tested on Poisson noise w

実験結果

リサーチクエスチョン

• RQ1 データセットなし・ノイズモデルなしの除噪法が、Gaussian、Poisson、実世界ノイズ間で競争力のあるPSNRを達成できるか。
• RQ2 適切な損失を用いた非常に小さなネットワークが未知のノイズレベル・分布に対して一般化できるか。
• RQ3 ゼロショット除噪と既存のゼロショットおよびデータセットベースの手法を、品質・速度・メモリの観点で比較するとどうなるか。
• RQ4 過学習を防ぎ性能を向上させるために必要な正則化戦略（残差損失、対称損失、一貫性損失）は何か。

主な発見

• ZS-N2N は、訓練データやノイズモデルなしで、Gaussian・Poisson・実世界のカメラ・顕微鏡ノイズに対して競争力のあるPSNRを達成する。
• 約2万パラメータの2層ネットワークは、計算量とメモリ要件を削減しつつ、より大きな学習モデルを上回ることができる。
• 残差学習、対称損失、一貫性損失は、良好な性能と過学習回避に不可欠である。
• ZS-N2N のノイズ除去は、アンサンブルベースのゼロショット手法と比較してCPU/GPU上で高速であり、典型的な除噪ネットワークよりも桁違いに少ないパラメータを使用する。
• 実際のカメラ・顕微鏡データセットで、ZS-N2N は DIP や NB2NB のようなベースラインと同等またはそれ以上を達成しつつ、アンサンブルなし推論とCPU互換性を維持する。

Figure 2 : The Image Pair Downsampler decomposes an image into two images of half the spatial resolution by averaging diagonal pixels of $2\times 2$ non-overlapping patches. In the above example the input is a $4\times 4$ image, and the output is two $2\times 2$ images.