[論文レビュー] Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images

Tao Huang, Songjiang Li+3 more|arXiv (Cornell University)|Jan 8, 2021

Image and Signal Denoising Methods参考文献 35被引用数 41

ひとこと要約

Neighbor2Neighbor は、ランダム隣接サブサンプリングによって学習ペアを生成し、正則化された自己教師付き損失を用いることで、クリーンなターゲットやノイズモデリングを必要とせず、ノイズ除去ネットワークを単一のノイズ画像だけで訓練し、競争力のある結果を達成します。

ABSTRACT

In the last few years, image denoising has benefited a lot from the fast development of neural networks. However, the requirement of large amounts of noisy-clean image pairs for supervision limits the wide use of these models. Although there have been a few attempts in training an image denoising model with only single noisy images, existing self-supervised denoising approaches suffer from inefficient network training, loss of useful information, or dependence on noise modeling. In this paper, we present a very simple yet effective method named Neighbor2Neighbor to train an effective image denoising model with only noisy images. Firstly, a random neighbor sub-sampler is proposed for the generation of training image pairs. In detail, input and target used to train a network are images sub-sampled from the same noisy image, satisfying the requirement that paired pixels of paired images are neighbors and have very similar appearance with each other. Secondly, a denoising network is trained on sub-sampled training pairs generated in the first stage, with a proposed regularizer as additional loss for better performance. The proposed Neighbor2Neighbor framework is able to enjoy the progress of state-of-the-art supervised denoising networks in network architecture design. Moreover, it avoids heavy dependence on the assumption of the noise distribution. We explain our approach from a theoretical perspective and further validate it through extensive experiments, including synthetic experiments with different noise distributions in sRGB space and real-world experiments on a denoising benchmark dataset in raw-RGB space.

研究の動機と目的

• トレーニングにノイズ画像だけを必要とする自己教師付きノイズ除去フレームワークを動機づける。
• 有用で隣接整合のある監視信号を生み出す学習ペア生成戦略を開発する。
• 隣接サブサンプル間の真の差分がゼロではないことを補う正則化項を導入する。
• 合成データと実世界ノイズデータの両方において、教師ありおよび他の自己教師付きアプローチと競合する性能を実証する。

提案手法

• 単一のノイズ画像から、元の画像内でピクセルが隣接する2つのサブサンプル画像を作るランダム隣接サブサンプラーを用いてトレーニングペアを生成する。
• 自己教師付き損失の再構築項と、隣接ピクセル間の真の差分を考慮する正則化項を組み合わせて、任意の既存のノイズ除去ネットワーク f_theta を訓練する。
• 2 項の損失を用いる：L = L_rec + gamma * L_reg, ここで L_rec = || f_theta(g1(y)) - g2(y) ||^2 and L_reg = || f_theta(g1(y)) - g2(y) - ( g1(f_theta(y)) - g2(f_theta(y)) ) ||^2, gamma は正則化の強さを制御する。
• 潜在的なクリーン画像を考慮した条件付き独立性と、隣接サブサンプル間の小さな地上 Truth ギャップという仮定のもとで動作する。
• 2 段階のプロセスを適用する： (1) 単一のノイズ画像からトレーニングペアを生成する、(2) 正則化された目的関数でネットワークを訓練する。 γ を徐々に増加させ、安定性のために特定の項からの勾配を停止する。

実験結果

リサーチクエスチョン

• RQ1 サブサンプリングを介して監視のようなペアを生成することで、単一のノイズ画像だけを用いてノイズ除去ネットワークを効果的に訓練できるか？
• RQ2 隣接サブサンプル間の真の差分に対処する正則化項を導入することで、ノイズ除去の性能が改善され、過剰平滑化が防止されるか？
• RQ3 Neighbor2Neighbor は、合成（ガウス/ポアソン）および実世界のノイズ設定において、教師あり学習および他の自己教師付き手法とどう比較されるか？
• RQ4 明示的なノイズモデリングを行わず、未知のノイズ分布に対して方法は頑健か？

主な発見

• Neighbor2Neighbor は、合成ガウスノイズおよびポアソンノイズを用いた sRGB 空間で、従来のデノイザーおよび単一ノイズ画像から学習したいくつかの自己教師付き手法を上回る。
• 実世界の raw-RGB ノイズ除去（SIDD データセット）では、同じネットワークアーキテクチャを用いた自己教師付きベースラインを一貫して上回り、CycleISP ベースの合成ペアベースラインよりも改善される。
• 隣接サブサンプル間の非ゼロの地上 truth ギャップは過度な平滑化を引き起こす可能性があるが、適切に選択された gamma を用いた正則化項がこれを緩和し、よりシャープなノイズ除去をもたらす。
• gamma の変化はバランスを示す：gamma が小さすぎると過度な平滑化、gamma が大きすぎると過剰な平滑化が起こる；中程度の gamma（例：合成で 2、実世界で 1）で最適なトレードオフを提供する。
• 本手法はアーキテクチャに依存せず、最先端のデノイジングバックボーンを活用できることが示され、クリーンターゲットやノイズモデルを必要とせず、教師ありデノイザーの進歩の恩恵を受けられることを示唆している。