[論文レビュー] Deep Denoising For Scientific Discovery: A Case Study In Electron Microscopy

Sreyas Mohan, Ramón Manzorro+7 more|arXiv (Cornell University)|Oct 24, 2020

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本論文は、科学的画像において真のクリアデータが入手できない問題に対処するため、合成して生成された透過電子顕微鏡（TEM）画像でトレーニングされた深層畳み込みニューラルネットワーク（CNN）を用いたシミュレーションベースのノイズ除去（SBD）フレームワークを提案する。SBDは、模擬的および実際の低SNRのTEMデータの両方で、既存手法を著しく上回り、優れた汎化性能と耐障害性を示す。また、標準的な写真的ベンチマークを超えた科学的関連性を評価するための新しい指標と尤度に基づく可視化手法を導入している。

ABSTRACT

Denoising is a fundamental challenge in scientific imaging. Deep convolutional neural networks (CNNs) provide the current state of the art in denoising natural images, where they produce impressive results. However, their potential has barely been explored in the context of scientific imaging. Denoising CNNs are typically trained on real natural images artificially corrupted with simulated noise. In contrast, in scientific applications, noiseless ground-truth images are usually not available. To address this issue, we propose a simulation-based denoising (SBD) framework, in which CNNs are trained on simulated images. We test the framework on data obtained from transmission electron microscopy (TEM), an imaging technique with widespread applications in material science, biology, and medicine. SBD outperforms existing techniques by a wide margin on a simulated benchmark dataset, as well as on real data. Apart from the denoised images, SBD generates likelihood maps to visualize the agreement between the structure of the denoised image and the observed data. Our results reveal shortcomings of state-of-the-art denoising architectures, such as their small field-of-view: substantially increasing the field-of-view of the CNNs allows them to exploit non-local periodic patterns in the data, which is crucial at high noise levels. In addition, we analyze the generalization capability of SBD, demonstrating that the trained networks are robust to variations of imaging parameters and of the underlying signal structure. Finally, we release the first publicly available benchmark dataset of TEM images, containing 18,000 examples.

研究の動機と目的

• 真のクリアデータが入手できない科学的画像のノイズ除去の課題に対処すること、特に電子顕微鏡において。
• さまざまな画像化パラメータや信号構造にわたる科学的画像処理に適した汎用性の高いディーブラーニングフレームワークを開発すること。
• TEMのような科学的データに応用された際の、従来の写真的画像ノイズ除去アーキテクチャの限界を特定すること。
• 写真的品質ではなく、科学的に意味のある画像忠実度を反映する新たな評価指標を提案すること。
• 再現可能な研究を促進するため、18,000枚のTEM画像からなる公開ベンチマークデータセットを提供すること。

提案手法

• 電子ビームの相互作用およびノイズプロセスの物理モデルを用いて生成された大規模なシミュレートTEM画像データセット上で深層CNNをトレーニングすること。
• ネットワークが実際の真のクリア画像を必要とせずに、ノイズの多い観測値からクリアな信号を再構築するように学習する、シミュレーションベースのトレーニングパラダイムを採用すること。
• 低SNR環境下での特徴抽出と勾配伝播を強化するため、U-Netに類似したアーキテクチャに残差接続を組み込むこと。
• 前方モデルに基づく尤度マップ可視化技術を導入し、ノイズ除去画像と観測データの間の統計的整合性を評価すること。
• 原子分解能TEMに特化したドメイン固有の評価指標（例：原子列検出精度、構造保存スコア）を設計し、科学的画像の忠実度を的確に評価すること。
• 勾配可視化とアブレーションスタディを適用し、科学的画像処理文脈における特徴学習とアーキテクチャ感受性を分析すること。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされた科学的画像でトレーニングされた深層CNNは、実世界の低SNR画像処理に効果的に汎化できるか？
• RQ2 標準的な写真的画像ノイズ除去アーキテクチャは、TEMのような科学的画像データに適用した場合、どのように性能を示すか？
• RQ3 PSNR や SSIM よりも適切な指標は何か？科学的画像ノイズ除去の性能を評価するにあたり。
• RQ4 トレーニングデータの分布の選択が、出力の汎化性能およびアーチファクト特性に与える影響は？
• RQ5 尤度に基づく可視化手法は、ノイズ除去画像と原始観測データとの間に不整合がある領域を効果的に特定できるか？

主な発見

• SBDフレームワークは、模擬的および実際のTEMデータセットの両方で、最先端の手法（フーリエフィルタリング、ウェーブレットベースの PURE-LET、自己教師付きノイズ除去）を上回り、特に低SNR条件下で顕著な優位性を示す。
• 標準的な写真的ノイズ除去アーキテクチャはTEMデータに対して性能を発揮しない。CNNの受容 field（視野）を拡大することで、低SNR画像における性能が顕著に向上する。
• PSNR や SSIM は、科学的に意味のある画像品質と相関しない。本研究で提案された指標（例：原子列検出精度、構造保存スコア）は、専門家による評価と強い整合性を示す。
• トレーニングデータの不一致はアーチファクトを引き起こす。白色コントラストのシミュレーションでトレーニングされたネットワークは、体積部に不自然なストライプパターンを生成するが、実際の取得条件に一致するデータでトレーニングされたネットワークは、構造をより正確に回復する。
• 自己教師付き手法は背景領域では良好に機能するが、ナノ粒子表面では顕著なアーチファクトを発生させ、背景と特徴の忠実度の間でトレードオフが生じている。
• 尤度マップは、観測データとの整合性が高いか低いかを効果的に可視化でき、フェイクアトムのような誤検出の可能性のある領域を特定するのに役立つが、極めて低SNR領域では機能しない可能性がある。