[論文レビュー] Noise2Noise: Learning Image Restoration without Clean Data

Jaakko Lehtinen, Jacob Munkberg+5 more|arXiv (Cornell University)|Mar 12, 2018

Image and Signal Denoising Methods被引用数 982

ひとこと要約

この論文は、クリーンなターゲットや明示的なノイズモデルを必要とせず、破損した（ノイズのある）例のみを用いて画像を復元することをニューラルネットワークが学習できることを示しており、複数のタスクでクリーンデータでの訓練と同等かそれより優れた結果を達成する。

ABSTRACT

We apply basic statistical reasoning to signal reconstruction by machine learning -- learning to map corrupted observations to clean signals -- with a simple and powerful conclusion: it is possible to learn to restore images by only looking at corrupted examples, at performance at and sometimes exceeding training using clean data, without explicit image priors or likelihood models of the corruption. In practice, we show that a single model learns photographic noise removal, denoising synthetic Monte Carlo images, and reconstruction of undersampled MRI scans -- all corrupted by different processes -- based on noisy data only.

研究の動機と目的

• 明示的なノイズモデルやクリーンターゲットなしで、破損データだけから画像復元を学習できることを示す。
• ノイズのあるターゲットでの訓練が、多様なタスクでクリーンターゲットでの訓練と同等の性能を達成することを示す。
• 有限データとさまざまなノイズ過程の下での利点を強調し、データ収集の実用的影響を説明する。
• 複数のノイズタイプ（Gaussian、Poisson、Bernoulli）と逆問題（MRI再構成）を探索して、本手法を検証する。

提案手法

• 破損した入力 x_hat と破損したターゲット y_hat を用いて L(f_theta(x_hat), y_hat) を最小化するニューラルネット回帰器を訓練する。ここで E[y_hat|x_hat] はクリーンターゲット y に等しい。
• L2損失の下では、最適な予測子が条件期待値に等しいという事実を用い、クリーンターゲットをゼロ平均の破損ターゲットに置き換えても学習した写像を変えない。
• Gaussian、Poisson、Bernoulli/ノイズの破損に対して、ノイズターゲットがクリーンターゲットと同等またはそれ以上の復元性能をもたらすことを実証する。
• Monte CarloレンダリングとMRIでは、ノイズ分布とデータ忠実性を考慮して損失関数と入力表現を適応し、HDR対応の損失やスペクトル保存戦略を含む。

実験結果

リサーチクエスチョン

• RQ1 クリーンターゲットなしで、破損ペアだけが利用可能なときにニューラルネットワークは画像復元を学習できるか？
• RQ2 異なるノイズモデル（Gaussian、Poisson、Bernoulli、インパルス）がノイズターゲット訓練の有効性に影響するか？
• RQ3 逆問題（undersampled MRI再構成やMonte Carloレンダリング画像）に対して、ノイズターゲット訓練は有効か？
• RQ4 有限データとキャプチャ予算が、クリーンターゲット訓練と比較したノイズターゲット訓練の性能にどう影響するか？
• RQ5 challenging corruptions の下で、どの損失関数と入力表現がノイズターゲット訓練を最もよく支援するか？

主な発見

• ノイズターゲット訓練は、Gaussian、Poisson、Bernoulliノイズに対して Kodak、BSD300、Set14 のデータセットで、クリーンターゲット訓練と同等のデノイジング性能を達成する。
• 破損ターゲットは、有限データ下で、破損のより多くの実現と潜在的なクリーン画像をモデルに提供することにより、クリーンターゲットより結果が改善される場合がある。
• Monte Carloレンダリングでは、ノイズターゲットで訓練すると、クリーンターゲット訓練の約0.5 dB程度PSNR差で、データ生成は数千倍速い。
• MRIでは、ノイズターゲット訓練は、undersampled k-space 再構築でクリーンターゲット訓練と同等のPSNRを達成し、逆問題への適用性を検証。
• 異なる損失（L2、L1、L0風のモード探索）は、さまざまな破損制度下で堅牢な復元を可能にし、L0ベースの損失は重いインパルスノイズに有利。
• オンライン訓練の実験では、リアルタイムで訓練されたノイズターゲットデノイザーが、クリーンデータで訓練したモデルの品質に近づく一方で、データ生成は大幅に高速化される。