[論文レビュー] Unsupervised Image Noise Modeling with Self-Consistent GAN

Hanshu Yan, Chen, Xuan+4 more|arXiv (Cornell University)|Jun 13, 2019

Image and Signal Denoising Methods参考文献 31被引用数 12

ひとこと要約

本稿では、清浄画像-ノイズ画像ペアを必要とせずに単一のノイズ画像からノイズマップを抽出する教師なし深層学習フレームワークであるSelf-Consistent GAN (SCGAN) を提案する。清浄入力の一貫性、純粋なノイズの一貫性、再構成の一貫性の3つの自己一貫性制約を課すことにより、効果的なノイズモデリングが可能となり、ブラインドノイズ除去、レインストリップ除去、ノイズ付き画像のスーパーレゾリューションのエンドツーエンド学習が実現され、完全教師あり手法と同等の性能を達成する。

ABSTRACT

Noise modeling lies in the heart of many image processing tasks. However, existing deep learning methods for noise modeling generally require clean and noisy image pairs for model training; these image pairs are difficult to obtain in many realistic scenarios. To ameliorate this problem, we propose a self-consistent GAN (SCGAN), that can directly extract noise maps from noisy images, thus enabling unsupervised noise modeling. In particular, the SCGAN introduces three novel self-consistent constraints that are complementary to one another, viz.: the noise model should produce a zero response over a clean input; the noise model should return the same output when fed with a specific pure noise input; and the noise model also should re-extract a pure noise map if the map is added to a clean image. These three constraints are simple yet effective. They jointly facilitate unsupervised learning of a noise model for various noise types. To demonstrate its wide applicability, we deploy the SCGAN on three image processing tasks including blind image denoising, rain streak removal, and noisy image super-resolution. The results demonstrate the effectiveness and superiority of our method over the state-of-the-art methods on a variety of benchmark datasets, even though the noise types vary significantly and paired clean images are not available.

研究の動機と目的

• 清浄-ノイズ画像ペアが入手できない状況における教師なし画像ノイズモデリングの課題に対処すること。
• ペアデータが欠如していることによる深刻なデータ不足とGANベースのノイズモデリングにおける学習不安定性を克服すること。
• ノイズ統計の事前知識を必要とせず、多様なノイズタイプに一般化可能なノイズモデリングフレームワークを開発すること。
• 清浄画像とノイズ画像のペアが存在しない状況でも、ブラインドノイズ除去、レインストリップ除去、ノイズ付き画像のスーパーレゾリューションといった下流タスクのエンドツーエンド学習を可能にすること。
• 学習されたノイズモデリングを用いた、初の教師なしレインストリップ除去およびノイズ付き画像のスーパーレゾリューションの実現可能性を示すこと。

提案手法

• ノイズ画像からノイズマップを抽出し、推定された清浄画像を生成する生成器Gを備えた自己一貫性GAN (SCGAN) アーキテクチャを提案する。
• 3つの新規な自己一貫性損失関数を導入する：清浄入力の一貫性損失 (G(J_c) ≈ 0)、純粋なノイズの一貫性損失 (G(G(I_n)) ≈ G(I_n))、再構成の一貫性損失 (G(J_c + G(I_n)) ≈ G(I_n))。
• 敵対的損失と3つの自己一貫性損失の組み合わせを用いて生成器を学習させ、堅牢で安定したノイズ抽出を確保する。
• 抽出されたノイズマップを用いて、未ペアの清浄画像にノイズマップを加えることでペaired学習データを合成し、(ノイズあり, 清浄) 画像ペアを形成する。
• 合成されたペアデータを用いて、ブラインドノイズ除去、レインストリップ除去、ノイズ付き画像のスーパーレゾリューションの下流モデルをエンドツーエンドで学習する。
• 一貫性制約を活用することで、ペア監視が欠如している状況でも学習の安定性と一般化性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 教師なしでペアデータが一切存在しない状況でも、深層生成モデルが単一のノイズ画像から意味的なノイズマップを抽出できるか？
• RQ2 自己一貫性制約は、GANにおける教師なしノイズモデリングの学習安定性と性能をどのように向上させるか？
• RQ3 SCGANによる教師なしノイズモデリングは、多様なノイズタイプや画像修復タスクにどの程度一般化可能か？
• RQ4 SCGANから得られる合成ペアデータは、完全教師あり手法と同等の性能を達成する下流モデルのエンドツーエンド学習を可能にするか？
• RQ5 ノイズマップ抽出とデータ合成のみを用いて、教師なしのレインストリップ除去およびノイズ付き画像のスーパーレゾリューションが実現可能か？

主な発見

• SCGANは、ペア学習データが一切存在しない状況でも、多様なノイズタイプのノイズ画像からノイズマップを効果的に抽出できた。
• 3つの自己一貫性損失は、学習の安定性とノイズマップの品質を顕著に向上させ、アーチファクトや背景関連のノイズ誤分類を低減した。
• アブレーションスタディの結果、3つの自己一貫性損失を併用したモデル（Net-3）が、敵対的損失や部分的損失のみを用いたモデルよりも一様で正確なノイズマップを生成し、最も優れた性能を示した。
• SCGANから得られる合成ペアデータを用いることで、ブラインドノイズ除去、レインストリップ除去、ノイズ付き画像のスーパーレゾリューションにおいて、完全教師ありモデルと同等の性能が達成された。
• ブラインドノイズ除去において、合成されたパッチから多様なノイズ強度をランダムクロップすることで、異なるノイズレベルに良好に一般化した。
• ノイズ付き画像のスーパーレゾリューションにおいては、SCGANによるエンドツーエンド学習により、二段階のDn+SRパイプラインで一般的に見られるノイズの蓄積と詳細の損失を回避し、優れた結果が得られた。