[論文レビュー] Joint self-supervised blind denoising and noise estimation

Jean Ollion, Charles Ollion+3 more|arXiv (Cornell University)|Feb 16, 2021

Image and Signal Denoising Methods参考文献 25被引用数 6

ひとこと要約

本論文は、クリーンデータや明示的なノイズモデリングを必要とせず、ノイズのある画像のみを用いて、denoiserネットワーク（D-net）とノイズ分布推定器（N-net）を共同で学習する自己教師付きブラインドデノイジング手法を提案する。この手法は、6つのバイオメディカル画像データセットにおいて、最先端の自己教師付き手法を顕著に上回り、Gaussian Mixture Models（GMM）を用いた複雑で非対称なノイズ分布の正確なモデリングにより、アーチファクトを低減しつつ高いPSNRとSSIMを達成する。

ABSTRACT

We propose a novel self-supervised image blind denoising approach in which two neural networks jointly predict the clean signal and infer the noise distribution. Assuming that the noisy observations are independent conditionally to the signal, the networks can be jointly trained without clean training data. Therefore, our approach is particularly relevant for biomedical image denoising where the noise is difficult to model precisely and clean training data are usually unavailable. Our method significantly outperforms current state-of-the-art self-supervised blind denoising algorithms, on six publicly available biomedical image datasets. We also show empirically with synthetic noisy data that our model captures the noise distribution efficiently. Finally, the described framework is simple, lightweight and computationally efficient, making it useful in practical cases.

研究の動機と目的

• クリーンなトレーニングデータが入手不可能であり、ノイズが複雑で不十分にモデル化されるバイオメディカル画像におけるブラインドデノイジングの課題に対処すること。
• ノイズ特性の解釈可能性に欠け、チェッカーパattersのようなアーチファクトを引き起こす既存の自己教師付きデノイジング手法の改善。
• クリーン信号とノイズ分布を、クリーンデータなしで、ノイズのある観測値のみを用いて共同で学習するフレームワークの開発。これにより、より良い一般化性能とロバストネスが実現可能となる。
• 実用的なバイオメディカル画像処理アプリケーションに適した軽量で効率的かつ解釈可能なソリューションの提供。

提案手法

• 本手法は、D-net（デノイジング用）とN-net（ノイズ分布推定用）の2つのニューラルネットワークを採用し、マスクされた入力パッチを用いて自己教師的に両者を同時に学習する。
• トレーニングは、マスクされた画素における再構成損失を最小化することに基づく。ネットワークは、周囲のノイズのある観測値のみを用いて、元の画素値を予測する。
• N-netはノイズ分布をGaussian Mixture Model（GMM）としてモデル化し、複雑で非対称的かつマルチモーダルなノイズ特性を正確に捉える。
• フレームワークは、クリーン信号が与えられたもとでノイズのある観測値が条件付き独立であると仮定しており、クリーンな教師信号なしに共同学習が可能となる。
• マスキング戦略により、ネットワークは局所的な信号構造を学習するよう促され、恒等関数の記憶を回避する。
• 本手法は、信号とノイズ分布の同時推定を可能にする、数学的に整合性のある新しいモデリングフレームワークに裏打ちされている。

実験結果

リサーチクエスチョン

• RQ1 クリーンなトレーニングデータを必要とせず、自己教師的にクリーン信号とノイズ分布を同時に学習できるか？
• RQ2 ニューラルネットワークは、歪んだか、マルチモーダルな非ガウス分布のような複雑なノイズ分布を、実際のバイオメディカル画像においてどれほど正確に推定できるか？
• RQ3 信号とノイズの同時推定は、クリーン信号の予測のみを目的とする従来の自己教師付きアプローチに比べ、デノイジング性能を向上させるか？
• RQ4 ノイズ分布のモデリングは、チェッカーパターンのような高周波数アーチファクトを低減するのにどのような影響を与えるか？
• RQ5 提案されたフレームワークは、ノイズ特性が異なる多様なバイオメディカル画像データセットに一般化可能か？

主な発見

• 提案手法は、6つのバイオメディカル画像データセットにおいて、最先端の自己教師付き手法DecoNoisingよりも平均で+1.42 dBのPSNR向上を達成した。
• 教師ありのCARE手法よりも平均で+1.49 dBのPSNR向上を示し、クリーンデータが存在しない状況でも優れた性能を発揮した。
• N-netは複雑なノイズ分布を効果的に捉えており、単一のガウス分布に比べ、Gaussian Mixture Models（GMM）を用いることで、実測分布と予測分布のKullback–Leiblerダイバージェンスが低減された。
• 可視化結果では、ノイズのない滑らかでシャープで詳細な画像が得られ、N2V、DecoNoising、ガウスフィルタリングよりも優れた品質を示した。
• N-netにGMMを導入することで、6つのデータセットのうち2つで明確なPSNR向上が観察され、柔軟なノイズモデリングの有効性が裏付けられた。
• フレームワークは計算的に効率的で軽量であり、実世界のバイオメディカル画像処理パイプラインへの実用的導入に適している。