[論文レビュー] Training Deep Learning Based Denoisers without Ground Truth Data

Shakarim Soltanayev, Se Young Chun|arXiv (Cornell University)|Mar 4, 2018

Image and Signal Denoising Methods参考文献 58被引用数 22

ひとこと要約

本論文は、ノイズのない教師画像を必要とせず、既知のガウスノイズを伴うノイズ混在の訓練データのみを用いて、深層畳み込みニューラルネットワーク（DNN）のノイズ除去器を学習するためのスティーンの不偏リスク推定（SURE）に基づく手法を提案する。この手法により、教師画像を用いて学習したモデルと同等のノイズ除去性能を達成でき、さらに個々のテスト画像に対してSUREに基づく精練ステップを実施することで、BM3D や Deep Image Prior、および多くの教師付き学習モデルを上回る性能を発揮する。

ABSTRACT

Recently developed deep-learning-based denoisers often outperform state-of-the-art conventional denoisers such as the BM3D. They are typically trained to minimize the mean squared error (MSE) between the output image of a deep neural network (DNN) and a ground truth image. Thus, it is important for deep-learning-based denoisers to use high quality noiseless ground truth data for high performance. However, it is often challenging or even infeasible to obtain noiseless images in some applications. Here, we propose a method based on Stein's unbiased risk estimator (SURE) for training DNN denoisers based only on the use of noisy images in the training data with Gaussian noise. We demonstrate that our SURE-based method, without the use of ground truth data, is able to train DNN denoisers to yield performances close to those networks trained with ground truth for both grayscale and color images. We also propose a SURE-based refining method with a noisy test image for further performance improvement. Our quick refining method outperformed conventional BM3D, deep image prior, and often the networks trained with ground truth. Potential extension of our SURE-based methods to Poisson noise model was also investigated.

研究の動機と目的

• ノイズのない教師画像が入手不可能または実用的でない医療画像やリモートセンシング画像の分野において、教師画像が不足する状況下でも深層学習によるノイズ除去器を効果的に学習する課題に対処すること。
• ペアのクリア・ノイズ画像を必要とせず、ノイズ混在画像と既知のノイズ分散のみを用いて、DNNのノイズ除去器を教師なしで学習する手法を開発すること。
• 個々のテスト画像に対して追加の教師画像を必要とせず、SUREに基づく精練ステップを導入し、ノイズ除去性能をさらに向上させること。
• ガウスノイズにとどまらず、ポissonノイズを含む非ガウスノイズモデルへの応用を拡張し、SUREに基づくフレームワークの汎用性を示すこと。

提案手法

• 教師画像が入手不可である状況下でも、真のクリア画像とDNN出力の平均二乗誤差（MSE）を推定するために、スティーンの不偏リスク推定（SURE）を用いる。
• SUREを損失関数として用い、教師画像が存在しない状況下でも、ノイズ混在画像と既知のノイズ分散のみを用いてDNNをエンドツーエンドで最適化可能にする。
• 教師なし学習環境下で逆誤差伝搬を可能にするために、SURE勾配のモンテカルロ近似を採用する。
• 事前に学習済みDNNを、1枚のノイズ混在テスト画像に対してSUREに基づくファインチューニング（SURE-FT）により精練し、画像固有の構造に適応することで性能を向上させる手法を導入する。
• ノイズ分布をモデル化し、一般化SUREを適用することで、ポアソンノイズに対してもフレームワークを拡張し、ガウスノイズを超える汎用性を示す。
• SURE最適化の発散を防ぐために、重み減衰とネットワーク構造的制約を用いて学習を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 ノイズ混在画像と既知のノイズ統計情報のみを用いて、クリアな参照画像が一切存在しない状況下でも、深層畳み込みニューラルネットワークのノイズ除去器を効果的に学習可能か？
• RQ2 SUREに基づく学習により、教師画像を用いて学習したモデルと同等のノイズ除去性能を達成できるか？
• RQ3 1枚のテスト画像に対してSUREに基づく精練ステップを適用することで、通常の学習を上回るノイズ除去品質が得られるか？
• RQ4 SUREに基づくフレームワークは、ポアソンノイズのような非ガウスノイズモデルに対しても拡張可能か？

主な発見

• 提案手法であるSUREに基づく学習法は、ノイズのない画像が一切存在しない状況下でも、教師画像を用いて学習したDNNと同等のノイズ除去性能を達成する。
• SURE-FTによる精練手法は、従来のBM3D や Deep Image Prior を大きく上回り、グレイスケールおよびカラー画像の両方で、教師画像を用いて学習したモデルを凌駆する場合が多い。
• ポアソンノイズの状況においても、SUREに基づく学習フレームワークは実用的かつ有効であることが示され、ガウスノイズに限らない応用可能性が裏付けられた。
• 本手法は、画像タイプやノイズレベルの違いに対しても頑健であり、医療画像やハイパースペクトル画像など、実世界の困難な撮影環境でも性能向上が観察された。
• SURE-FT手法は、大規模な事前学習による一般化性能と、1枚のノイズ混在入力からの画像固有の適応を組み合わせることで、最先端の性能を達成した。
• Deep Image Prior が特定のアーキテクチャ（例：U-Net）を必要とするのに対し、本手法は複雑なネットワーク設計やハイパーパramータチューニングを不要としている。