[论文解读] Deep Learning Supersampled Scanning Transmission Electron Microscopy

Jeffrey M. Ede|arXiv (Cornell University)|Oct 23, 2019

Advanced Electron Microscopy Techniques and Applications参考文献 35被引用 7

一句话总结

本论文提出深度学习超采样扫描透射电子显微镜（DLSS-STEM），一种两阶段生成对抗网络（GAN），可从严重欠采样的点扫描数据中重建高分辨率STEM图像——最低至1/100像素覆盖率——在1/16像素覆盖率下实现3.23%的均方根误差，在1/100像素覆盖率下实现4.54%的均方根误差，与按覆盖率单独训练的模型相比误差在1%以内，采用新型非对抗性学习策略及辅助网络以实现多覆盖率泛化与抗噪性。

ABSTRACT

Compressed sensing can increase resolution, and decrease electron dose and scan time of electron microscope point-scan systems with minimal information loss. Building on a history of successful deep learning applications in compressed sensing, we have developed a two-stage multiscale generative adversarial network to supersample scanning transmission electron micrographs with point-scan coverage reduced to 1/16, 1/25, ..., 1/100 px. We propose a novel non-adversarial learning policy to train a unified generator for multiple coverages and introduce an auxiliary network to homogenize prioritization of training data with varied signal-to-noise ratios. This achieves root mean square errors of 3.23% and 4.54% at 1/16 px and 1/100 px coverage, respectively; within 1% of errors for networks trained for each coverage individually. Detailed error distributions are presented for unified and individual coverage generators, including errors per output pixel. In addition, we present a baseline one-stage network for a single coverage and investigate numerical precision for web serving. Source code, training data, and pretrained models are publicly available at https://github.com/Jeffrey-Ede/DLSS-STEM

研究动机与目标

• 在保持高分辨率图像质量的同时，减少扫描透射电子显微镜（STEM）中的电子剂量和扫描时间。
• 解决训练单一深度学习模型以泛化至多种广泛差异的扫描覆盖率（从1/16到1/100像素）的挑战，这些覆盖率具有不同的信噪比。
• 开发一种统一的训练框架，通过基于经验误差趋势缩放损失，避免在低覆盖率下性能下降。
• 实现在样品降解或破坏后，仍能通过后处理重建高分辨率STEM图像，仅依赖低覆盖率扫描。
• 研究面向网络部署的数值精度权衡，表明16位推理在精度损失极小的情况下可行。

提出的方法

• 采用两阶段多尺度GAN架构，内层生成器生成粗略特征，外层生成器将其细化为全分辨率输出。
• 提出一种新型非对抗性学习策略，用于在多个覆盖率下联合训练生成器，使用自适应学习率剪裁（ALRC）替代对抗性损失，以稳定训练过程。
• 采用辅助网络以统一不同信噪比的训练样本的损失权重，提升泛化能力。
• 输入图像首先通过最近邻插值下采样，以模拟1/16、1/25、1/36、1/64和1/100像素覆盖率的低覆盖率扫描。
• 损失通过拟合的多项式函数 $ p_{\text{raw}}(c) = 0.002211 - 0.037887c + 0.289451c^2 $ 缩放，并通过所有覆盖率下原始MSE的均值归一化，以平衡优化过程。
• 还开发了一阶段生成器作为单覆盖率应用的基线模型，当按覆盖率单独训练时，其性能与两阶段模型相当。

实验结果

研究问题

• RQ1 单一深度学习模型能否在多种扫描覆盖率（1/16至1/100像素）下有效重建高分辨率STEM图像，且性能与单独训练的模型相当？
• RQ2 在原始MSE随覆盖率降低而显著增加的广泛差异覆盖率下，如何平衡训练损失？
• RQ3 所提出的非对抗性学习策略结合自适应学习率剪裁，在重建保真度与泛化能力方面，相较于传统GAN训练的性能提升程度如何？
• RQ4 该模型在具有多样化噪声特征与图像内容的未见数据上表现如何，特别是在束敏感应用中？
• RQ5 数值精度（32位与16位）对潜在网络部署的推理延迟与重建精度有何影响？

主要发现

• 统一的两阶段GAN在1/16像素覆盖率下实现3.23%的均方根误差（RMSE），在1/100像素覆盖率下实现4.54%的均方根误差，与按覆盖率单独训练的模型相比误差在1%以内。
• 所提出的非对抗性学习策略结合自适应学习率剪裁，实现了多覆盖率下的稳定训练，并保持了与覆盖率特定模型相当的重建保真度。
• 辅助网络有效统一了不同信噪比训练样本的损失权重，提升了泛化能力，且无需显式建模噪声。
• 一阶段生成器在单覆盖率任务中表现与两阶段模型相当，验证了其作为轻量化基线的适用性。
• 16位推理引入的额外误差不足1%，表明16位精度足以满足实际网络部署需求，且可显著降低延迟。
• 重建图像的空间相关性保持较高，目标图像与下采样图像之间的平均绝对拉普拉斯比为0.93，表明结构保真度得以保留。