[论文解读] Deep Denoising For Scientific Discovery: A Case Study In Electron Microscopy

Sreyas Mohan, Ramón Manzorro+7 more|arXiv (Cornell University)|Oct 24, 2020

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出一种基于模拟的去噪（SBD）框架，利用在合成透射电子显微镜（TEM）图像上训练的深度卷积神经网络（CNN），以解决科学成像中缺乏真实干净数据的问题。SBD在模拟和真实低信噪比TEM数据上均显著优于现有方法，展现出更优的泛化能力和鲁棒性，同时引入了新指标和基于似然的可视化方法，以评估超越标准摄影基准的科学相关性。

ABSTRACT

Denoising is a fundamental challenge in scientific imaging. Deep convolutional neural networks (CNNs) provide the current state of the art in denoising natural images, where they produce impressive results. However, their potential has barely been explored in the context of scientific imaging. Denoising CNNs are typically trained on real natural images artificially corrupted with simulated noise. In contrast, in scientific applications, noiseless ground-truth images are usually not available. To address this issue, we propose a simulation-based denoising (SBD) framework, in which CNNs are trained on simulated images. We test the framework on data obtained from transmission electron microscopy (TEM), an imaging technique with widespread applications in material science, biology, and medicine. SBD outperforms existing techniques by a wide margin on a simulated benchmark dataset, as well as on real data. Apart from the denoised images, SBD generates likelihood maps to visualize the agreement between the structure of the denoised image and the observed data. Our results reveal shortcomings of state-of-the-art denoising architectures, such as their small field-of-view: substantially increasing the field-of-view of the CNNs allows them to exploit non-local periodic patterns in the data, which is crucial at high noise levels. In addition, we analyze the generalization capability of SBD, demonstrating that the trained networks are robust to variations of imaging parameters and of the underlying signal structure. Finally, we release the first publicly available benchmark dataset of TEM images, containing 18,000 examples.

研究动机与目标

• 为解决科学成像中缺乏真实干净数据的去噪挑战，特别是在电子显微镜成像中的问题。
• 开发一种深度学习框架，使其在科学成像中不同成像参数和信号结构下均具有良好的泛化能力。
• 识别现有摄影图像去噪架构在应用于科学数据（如TEM）时的局限性。
• 提出更合适的评估指标，以反映科学上有意义的图像保真度，而非摄影质量。
• 发布一个包含18,000张TEM图像的公开基准数据集，以支持科学图像去噪的可复现研究。

提出的方法

• 在使用电子束相互作用和噪声过程的物理模型生成的大规模模拟TEM图像数据集上训练深度CNN。
• 采用基于模拟的训练范式，使网络在无需真实干净图像作为监督信号的情况下，学习从噪声观测中重建干净信号。
• 采用类似U-Net的架构并引入残差连接，以增强低信噪比条件下的特征学习和梯度传播。
• 提出一种基于前向建模的似然图可视化技术，用于评估去噪图像与观测数据之间的统计一致性。
• 设计面向特定领域的评估指标（如原子列检测准确率和结构保持评分），以适配原子分辨率TEM成像需求。
• 应用梯度可视化和消融研究，分析科学成像场景下特征学习与网络架构的敏感性。

实验结果

研究问题

• RQ1 在模拟科学图像上训练的深度CNN能否有效泛化到真实世界低信噪比成像数据？
• RQ2 标准摄影图像去噪架构在应用于科学成像数据（如TEM）时表现如何？
• RQ3 在评估科学图像去噪性能时，哪些指标比PSNR和SSIM更合适？
• RQ4 训练数据分布的选择如何影响去噪输出的泛化能力与伪影特征？
• RQ5 基于似然的可视化方法能否有效标识去噪图像与原始观测之间不一致的区域？

主要发现

• SBD框架在模拟和真实TEM数据集上均显著优于最先进方法（包括傅里叶滤波、基于小波的PURE-LET以及无监督去噪方法），尤其在低信噪比条件下表现更优。
• 标准摄影图像去噪架构在TEM数据上表现欠佳；扩大CNN的感受野（视野）可显著提升其在低信噪比图像上的性能。
• PSNR和SSIM无法与科学上有意义的图像质量相关联；所提出的指标（如原子列检测准确率和结构保持评分）与专家评估结果具有更强的一致性。
• 训练数据不匹配会导致伪影：在白对比度模拟数据上训练的网络会在样品内部产生不自然的条纹状伪影，而基于真实采集条件数据训练的网络则能更准确地恢复结构。
• 无监督方法在背景区域表现良好，但在纳米颗粒表面引入了显著伪影，凸显了背景与特征保真度之间的权衡。
• 似然图能有效可视化与观测数据一致性和不一致性的区域，有助于识别潜在的虚假原子等假阳性，但在极低信噪比区域可能失效。