[論文レビュー] Suppression of Correlated Noise with Similarity-based Unsupervised Deep Learning

Chuang Niu, Mengzhou Li+5 more|arXiv (Cornell University)|Nov 6, 2020

Image and Signal Denoising Methods被引用数 8

ひとこと要約

本稿では、一連のノイズのないデータを必要とせず、同じノイズのついた画像内の部分画像同士の類似性を活用することで、独立および相関するノイズの両方を抑える、新しい非教師あり深層学習手法Noise2Simを提案する。低線量およびフォトンカウンティングCTにおいて、教師あり手法と同等またはそれ以上の性能を達成しており、やや緩い条件下では教師あり学習と理論的に同等であることが示されている。

ABSTRACT

Image denoising is a prerequisite for downstream tasks in many fields. Low-dose and photon-counting computed tomography (CT) denoising can optimize diagnostic performance at minimized radiation dose. Supervised deep denoising methods are popular but require paired clean or noisy samples that are often unavailable in practice. Limited by the independent noise assumption, current unsupervised denoising methods cannot process correlated noises as in CT images. Here we propose the first-of-its-kind similarity-based unsupervised deep denoising approach, referred to as Noise2Sim, that works in a nonlocal and nonlinear fashion to suppress not only independent but also correlated noises. Theoretically, Noise2Sim is asymptotically equivalent to supervised learning methods under mild conditions. Experimentally, Nosie2Sim recovers intrinsic features from noisy low-dose CT and photon-counting CT images as effectively as or even better than supervised learning methods on practical datasets visually, quantitatively and statistically. Noise2Sim is a general unsupervised denoising approach and has great potential in diverse applications.

研究の動機と目的

• 既存の非教師ありノイズ除去手法が独立ノイズを仮定しているが、CT画像における相関ノイズには失敗するという限界に対処すること。
• 低線量およびフォトンカウンティングCTのような相関ノイズを有する画像を効果的にノイズ除去できる、一般化可能な非教師あり深層学習フレームワークの開発。
• 提案手法がやや緩い条件下で教師あり学習と漸近的に同等であるという理論的基盤を確立すること。
• 実世界の3次元低線量CTおよび4次元フォトンカウンティングCTデータセットにおいて、本手法の実用的有効性を示すこと。
• 再現可能性と広範な採用を可能とするために、公開可能なコードベースおよびデータセットの提供。

提案手法

• Noise2Simは、1枚のノイズのついた画像から得られる内部的に登録された部分画像を用いて、非教師ありの方法で深層ニューラルネットワークを訓練する。
• 画像内における繰り返しや構造的に類似した画像パッチを特定・利用することで、非局所的類似性を活用する。
• 各パッチをその類似した近隣パッチから予測する自己教師型学習問題としてノイズ除去タスクを定式化し、深層畳み込みニューラルネットワークを用いる。
• 訓練目的は、予測されたパッチと元のノイズのついたパッチとの再構成誤差を最小化することであり、類似パッチが同じ潜在的なクリーン信号を持つという事実を活用する。
• 本手法は非局所的かつ非線形的であり、局所的平均化を超える複雑なノイズ構造やパターンを捉えることができる。
• 理論的分析により、やや緩い条件下ではNoise2Simが教師ありNoise2Clean学習と漸近的に同等であることが証明されている。

実験結果

リサーチクエスチョン

• RQ1 ペアのクリーン・ノイズ付きデータを必要とせず、非教師あり深層学習手法が医療CT画像における相関ノイズを効果的に抑制できるか。
• RQ2 Noise2Simの性能は、低線量およびフォトンカウンティングCTデータセットにおいて、教師ありおよび既存の非教師ありノイズ除去手法と比べてどの程度か。
• RQ3 画像パッチ間の類似性の利用が、局所的または独立ノイズ仮定と比較して、ノイズ除去性能をどの程度向上させるか。
• RQ4 提案された非教師あり手法がやや緩い条件下で教師あり学習と理論的に同等であるか。
• RQ5 Noise2Simは自然画像における独立ノイズにも一般化可能か。また、最先端の非教師あり手法と比較してどの程度の性能を示すか。

主な発見

• Noise2Simは、実用的な低線量およびフォトンカウンティングCTデータセットにおいて、視覚的・定量的・統計的に、教師あり学習手法と同等またはそれ以上のノイズ除去性能を達成している。
• 本手法はCT画像における相関ノイズを効果的に抑制し、独立ノイズを仮定する既存の非教師あり手法の限界を克服している。
• 3次元低線量CTおよび4次元フォトンカウンティングCTデータセットにおいて、Noise2Simは従来のノイズ除去手法および最先端の非教師あり深層学習ネットワークを一貫して上回っている。
• 理論的分析により、やや緩い条件下でNoise2Simが教師あり学習と漸近的に同等であることが確認され、その学習能力が裏付けられている。
• 独立ノイズを有する自然画像に対する広範な実験では、Noise2SimはNoise2Void や Noise2Self などの最先端の非教師あり手法と競合する性能を示している。
• 本手法は一般化可能であり、CTにとどまらず多様な画像応用に適用可能であり、再現可能性のための公開済みコードおよびデータセットを提供している。