[論文レビュー] Noisy-As-Clean: Learning Unsupervised Denoising from the Corrupted Image.

Jun Xu, Yuan Huang+4 more|arXiv (Cornell University)|Jun 17, 2019

Image and Signal Denoising Methods参考文献 28被引用数 11

ひとこと要約

本稿では、ノイズのある画像を対象として扱い、合成された類似ノイズを追加することで、汚染された画像のみを用いてネットワークを訓練する自己教師型ノイズ除去手法であるNoisy-As-Clean (NAC) を提案する。この手法は、合成的および現実的なノイズの両方で、教師ありおよび先行の非教師あり手法と同等またはそれ以上の性能を達成し、クリーンな参照ペアを必要とせずにドメインギャップを効果的に解消する。

ABSTRACT

Supervised deep networks have achieved promisingperformance on image denoising, by learning image priors andnoise statistics on plenty pairs of noisy and images. Unsupervised denoising networks are trained with only noisy images. However, for an unseen corrupted image, both supervised andunsupervised networks ignore either its particular image prior, the noise statistics, or both. That is, the networks learned from external images inherently suffer from a domain gap problem: the image priors and noise statistics are very different between the training and test images. This problem becomes more clear when dealing with the signal dependent realistic noise. To circumvent this problem, in this work, we propose a novel Noisy-As-Clean (NAC) strategy of training self-supervised denoising networks. Specifically, the corrupted test image is directly taken as the clean target, while the inputs are synthetic images consisted of this corrupted image and a second and similar corruption. A simple but useful observation on our NAC is: as long as the noise is weak, it is feasible to learn a self-supervised network only with the corrupted image, approximating the optimal parameters of a supervised network learned with pairs of noisy and images. Experiments on synthetic and realistic noise removal demonstrate that, the DnCNN and ResNet networks trained with our self-supervised NAC strategy achieve comparable or better performance than the original ones and previous supervised/unsupervised/self-supervised networks. The code is publicly available at this https URL.

研究の動機と目的

• トレーニングデータとテストデータの間で画像の事前知識とノイズ統計が不一致であることが原因で生じる画像ノイズ除去におけるドメインギャップを解消すること。
• ペア化されたノイズあり・クリーンな画像データに依存せずに、効果的な自己教師型トレーニングを可能にする。
• 従来の教師ありおよび非教師あり手法が分布シフトのため困難に感じられる信号依存性の強いノイズにおいて、性能を向上させること。
• 外部のデータ分布を必要とせず、腐敗したテスト画像のみを活用するトレーニング戦略を開発すること。

提案手法

• 本手法は、トレーニング中に入力のノイズあり画像をターゲットのクリーン画像として扱い、自己教師型のターゲットとして効果的に利用する。
• 合成ノイズは、元のノイズあり画像にさらに類似したノイズ層を追加することで生成され、これが入力として用いられる。
• ネットワークは、二重に腐敗させた入力から元のノイズあり画像を再構築するように訓練され、この自己教師型のプロセスを通じてノイズ除去を学習する。
• 本手法は、弱いノイズがペアデータで訓練された教師ありモデルの最適パラメータをネットワークが近似可能であるという仮定に依存している。
• 単純な残差ネットワークまたはDnCNNアーキテクチャを用い、標準的なL2または類似の再構築損失により損失を最小化する。
• 構造的類似性を活用することで、本手法は合成的および現実世界のノイズ、信号依存性ノイズを含む、両方の状況に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 汚染された画像のみでトレーニングされた自己教師型ノイズ除去ネットワークは、教師あり手法と同等の性能を達成できるか？
• RQ2 Noisy-As-Clean戦略は、画像の事前知識とノイズ統計の不一致によって引き起こされるドメインギャップを効果的に軽減できるか？
• RQ3 NACでトレーニングされたネットワークの性能は、教師あり、非教師あり、および先行の自己教師型ノイズ除去手法と比較して、現実的なノイズにおいてどうなるか？
• RQ4 信号依存性ノイズに本手法が適用された場合、i.i.d.ノイズよりも困難であるにもかかわらず、そのロバスト性は保たれるか？
• RQ5 クリーンな参照データを必要とせずに、未観測の腐敗した画像に一般化できるか？

主な発見

• NAC手法は、合成的および現実世界のノイズベンチマークの両方で、元の教師ありDnCNNおよびResNetネットワークと同等またはそれ以上の性能を達成する。
• BSD100およびUrban100データセットにおいて、NACでトレーニングされたモデルは、以前の自己教師型および非教師ありノイズ除去手法よりもPSNRおよびSSIMの観点で優れている。
• 本手法は、信号依存性の特徴を持つ、未観測の実際のノイズパターンに対しても強力な一般化性能を示す。
• 性能向上の要因は、自己教師型NAC目的関数によって、画像の事前知識とノイズ統計が効果的に一致したことによるものである。
• ペア化されたノイズあり・クリーンなデータを必要とせず、複数のデータセットおよびノイズタイプで検証されたように、ノイズ除去品質を維持または向上させる。
• コードは公開されており、自己教師型画像ノイズ除去分野における再現可能性およびさらなる研究を可能にする。