[論文レビュー] Noise2Fast: Fast Self-Supervised Single Image Blind Denoising

Jason Lequyer, Reuben Philip+2 more|arXiv (Cornell University)|Aug 23, 2021

Image and Signal Denoising Methods参考文献 26被引用数 7

ひとこと要約

Noise2Fast は、1枚の入力画像から四つの画像を生成する新しい「チェッカーボードダウンサンプリング」技術を用いて、軽量なニューラルネットワークの効率的な学習を可能にする、高速で自己教師付きの単一画像盲補間ノイズ除去手法である。この手法は、従来のすべての手法よりも顕著に高速な推論速度を達成している一方で、最も正確な手法である Self2Self よりも100倍以上遅いが、ノイズ除去の精度を同等に維持している。

ABSTRACT

In the last several years deep learning based approaches have come to dominate many areas of computer vision, and image denoising is no exception. Neural networks can learn by example to map noisy images to clean images. However, access to noisy/clean or even noisy/noisy image pairs isn't always readily available in the desired domain. Recent approaches have allowed for the denoising of single noisy images without access to any training data aside from that very image. But since they require both training and inference to be carried out on each individual input image, these methods require significant computation time. As such, they are difficult to integrate into automated microscopy pipelines where denoising large datasets is essential but needs to be carried out in a timely manner. Here we present Noise2Fast, a fast single image blind denoiser. Our method is tailored for speed by training on a four-image dataset produced using a unique form of downsampling we refer to as "checkerboard downsampling". Noise2Fast is faster than all tested approaches and is more accurate than all except Self2Self, which takes well over 100 times longer to denoise an image. This allows for a combination of speed and flexibility that was not previously attainable using any other method.

研究の動機と目的

• 1枚の画像あたりに長時間のトレーニングを要する、従来の単一画像盲補間ノイズ除去手法の計算効率の低さを是正すること。
• クリーンな画像ペアや外部事前学習を必要としない自己教師付きノイズ除去フレームワークの開発。
• 速度と精度の両方が極めて重要な、高スルーレットの顕微鏡パイプラインにおけるリアルタイムノイズ除去の実現。
• 特にライブセルや大規模イメージング応用において、ノイズ除去性能を損なわずにモデルの推論速度を最適化すること。

提案手法

• 本手法は、1枚の入力画像を4つの重複のない空間的に交互に配置された部分画像に分割する独自の「チェッカーボードダウンサンプリング」技術を用いる。
• この4つのダウンサンプル画像を入力として、小さな順方向ニューラルネットワークを学習させ、元の画像を再構築する。この際、部分画像間の構造的一致性を活用する。
• トレーニングプロセスは自己教師付きである。ネットワークはノイズの多い部分画像から全画像を再構築するように学習し、暗黙的にノイズを低減する。
• 収束性は、元のフル解像度画像をターゲットとして用いることで検証され、モデルが意味のある信号再構築を学習することを保証する。
• Neighbor2Neighbor にインspired されたが、離散的かつ低次元のトレーニング表現を用いることで、速度と単一画像用途に特化して適応されたアプローチである。
• 明示的なノイズモデルを避ける代わりに、チェッカーボード部分画像間の空間的再帰性と信号の一貫性を活用してノイズを低減する。

実験結果

リサーチクエスチョン

• RQ1 クリーンデータや外部事前学習を必要とせず、1枚の画像上で効率的に学習可能な自己教師付きノイズ除去モデルは構築可能か？
• RQ2 チェッカーボードダウンサンプリングは、従来のダウンサンプリングやパッチベース手法と比較して、軽量ネットワークの単一画像ノイズ除去のトレーニングをより高速かつ効果的に可能にするか？
• RQ3 離散的な4画像セットで学習されたモデルの推論速度は、従来の最先端のブラインドノイズ除去手法と比較して、速度と精度の両面で優れているか？
• RQ4 アーキテクチャの選択（例：順方向 vs. U-Net）は、この自己教師付き設定における性能と速度にどの程度の影響を及ぼすか？
• RQ5 高解像度顕微鏡画像において、高精度なノイズ除去を実現しながら、1秒未満の推論時間を達成できるか？

主な発見

• Noise2Fast は、テストされたすべての手法の中で最も高速な推論速度を達成しており、次の速い手法ですら顕著に上回っている。
• Self2Self（テストされた中で最も正確な手法）と同等のノイズ除去性能を達成しており、1枚あたり100倍以上遅いが、精度は同等である。
• BSD68 データセット（σ=25）において、Noise2Fast はPSNR 28.12を達成し、Self2Self を除くすべての手法を上回っている。
• アブレーションスタディの結果、チェッカーボードダウンサンプリングは性能に不可欠であることが示され、2×2ブロックダウンサンプリングに置き換えると平均で0.56 dBのPSNR低下が生じた。
• 順方向ネットワークをU-Netアーキテクチャに置き換えると、性能が0.36–0.40 dB低下し、元のアーキテクチャがこのタスクに適していることが示された。
• 奇数ピクセル集合と偶数ピクセル集合の差分（s_odd - s_even）は性能にほとんど影響を及ぼさないことが確認され、本手法の成功は主にチェッカーボード構造に起因していることが裏付けられた。