[論文レビュー] C2N: Practical Generative Noise Modeling for Real-World Denoising

Geonwoon Jang, Wooseok Lee+2 more|arXiv (Cornell University)|Feb 19, 2022

Image and Signal Denoising Methods被引用数 7

ひとこと要約

C2Nは、ペアのクリア-ノイズ画像が存在しない状況でも、信号に依存しないノイズ成分と信号に依存するノイズ成分を明示的にモデル化することで、複雑な現実世界の画像ノイズを模倣する新しい生成的ノイズモデリングフレームワークを提案する。非ペアのデータで訓練されたC2Nは、現実的なノイズ画像を生成し、SIDDおよびDNDベンチマークにおいて、従来の非教師あり手法を大幅に上回る性能を示す従来のディノイジングネットワークの性能を向上させる。

ABSTRACT

Learning-based image denoising methods have been bounded to situations where well-aligned noisy and clean images are given, or samples are synthesized from predetermined noise models, e.g., Gaussian. While recent generative noise modeling methods aim to simulate the unknown distribution of real-world noise, several limitations still exist. In a practical scenario, a noise generator should learn to simulate the general and complex noise distribution without using paired noisy and clean images. However, since existing methods are constructed on the unrealistic assumption of real-world noise, they tend to generate implausible patterns and cannot express complicated noise maps. Therefore, we introduce a Clean-to-Noisy image generation framework, namely C2N, to imitate complex real-world noise without using any paired examples. We construct the noise generator in C2N accordingly with each component of real-world noise characteristics to express a wide range of noise accurately. Combined with our C2N, conventional denoising CNNs can be trained to outperform existing unsupervised methods on challenging real-world benchmarks by a large margin.

研究の動機と目的

• クリア-ノイズペアデータが乏しいまたは利用できない現実世界の画像ディノイジングの課題に対処すること。
• 現実的でない仮定に依存するか、複雑なノイズ分布を捉えられない既存の生成的ノイズモデリング手法の限界を克服すること。
• 真のノイズマップが不要な状況でも、信号に依存するノイズおよび空間的に相関のあるノイズ特性を正確にモデル化するノイズ生成器を開発すること。
• 非ペアのクリア画像と生成されたノイズ画像のみを用いて、効果的なディノイジングネットワークの訓練を可能にすること。
• 標準的なCNNベースのディノイザーとC2Nノイズ生成器を組み合わせることで、非教師あり現実世界ディノイジングにおいて最先端の性能を達成すること。

提案手法

• 信号に依存しない（G^I）および信号に依存する（G^D）ノイズ成分の明示的モジュールを備えたノイズ生成器を設計する。
• ノイズの相関性と空間的構造をモデル化するために、1×1および3×3畳み込み変換を統合する。
• 手動で設計されたノイズ形式に依存せずに、訓練を安定化させるための損失（ℒ_stb）を用いる。
• 非ペアの実際のノイズ画像とクリア画像を用いて、自己教師付きの方法でノイズ生成器を訓練する。
• 訓練済みのC2N生成器を用いて、任意のクリア画像から合成ノイズ画像を生成する。
• SIDDで事前学習した後、ターゲットデータセット（例：DND）でC2N生成器を微調整することで、ドメイン一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ペアのクリア-ノイズデータが存在しない状況でも、生成的ノイズモデルは複雑な現実世界のノイズ分布を学習できるか？
• RQ2 信号に依存しないおよび信号に依存するノイズ成分の明示的モデリングは、ノイズの現実性向上にどの程度効果的か？
• RQ3 C2Nフレームワークは、非教師ありディノイジングモデルが現実世界ベンチマークで既存の最先端手法をどの程度上回るか？
• RQ4 個々の構成要素（例：1×1および3×3畳み込み、安定化損失）は、高精細なノイズマップ生成にどのような役割を果たすか？
• RQ5 C2Nフレームワークは、再訓練を必要とせずに、さまざまな現実世界ノイズデータセットに一般化可能か？

主な発見

• C2Nは、実際のノイズ分布と非常に近い分布を持つ現実的なノイズマップを生成し、比較手法の中で最小のKLダイバージェンスを達成した。
• アブレーションスタディにより、C2Nのすべての構成要素—G^I、G^D、1×1、3×3畳み込み—が複雑なノイズパターンのモデリングに不可欠であることが確認された。
• SIDDベンチマークにおいて、C2Nで訓練されたディノイザーは、UIDNetよりもはるかに少ないトレーニングパッチ数でも、既存の非教師あり手法を上回った。
• C2Nとより強力なDIDNディノイザーを組み合わせることで、教師ありモデルと同等の性能が達成された。これは、フレームワークが高容量ネットワークと互換性を持つことを示している。
• SIDDで事前学習した後、DNDでC2N生成器を微調整することで、DNDで直接学習する場合よりも性能が向上した。これは、ドメイン適応能力を示している。
• SIDDにおける定性的な結果から、C2Nが生成するノイズは、非教師ありベースラインよりも優れたノイズ除去とディテール保持性能を示し、教師ありモデルに近い視覚的品質に近づいた。