[论文解读] A roadmap for edge computing enabled automated multidimensional transmission electron microscopy

Debangshu Mukherjee, Kevin M. Roccapriore+9 more|arXiv (Cornell University)|Oct 5, 2022

Advanced Electron Microscopy Techniques and Applications被引用 4

一句话总结

本文提出了一种边缘计算框架，通过在本地边缘设备上处理超光谱扫描透射电子显微镜（STEM）数据，实现实时、自动化的多维透射电子显微镜（TEM）分析，随后将数据卸载至高性能计算（HPC）系统。该研究展示了在边缘硬件上进行深度学习推理的可行性，倡导采用标准化数据容器和数字孪生技术以实现数据溯源追踪，并提出了统一显微镜、边缘计算与HPC系统的网络协议，推动实现自主、数据驱动的实验。

ABSTRACT

The advent of modern, high-speed electron detectors has made the collection of multidimensional hyperspectral transmission electron microscopy datasets, such as 4D-STEM, a routine. However, many microscopists find such experiments daunting since such datasets' analysis, collection, long-term storage, and networking remain challenging. Some common issues are the large and unwieldy size of the said datasets, often running into several gigabytes, non-standardized data analysis routines, and a lack of clarity about the computing and network resources needed to utilize the electron microscope fully. However, the existing computing and networking bottlenecks introduce significant penalties in each step of these experiments, and thus, real-time analysis-driven automated experimentation for multidimensional TEM is exceptionally challenging. One solution is integrating microscopy with edge computing, where moderately powerful computational hardware performs the preliminary analysis before handing off the heavier computation to HPC systems. In this perspective, we trace the roots of computation in modern electron microscopy, demonstrate deep learning experiments running on an edge system, and discuss the networking requirements for tying together microscopes, edge computers, and HPC systems.

研究动机与目标

• 解决大规模、难以处理的超光谱TEM数据集（如4D-STEM）带来的实时分析与自动化挑战。
• 通过将边缘计算与高性能计算（HPC）系统集成，克服数据传输、存储与分析中的瓶颈。
• 通过从探测器向边缘系统流式传输数据，实现实时压缩与初步分析，从而实现自动化、决策驱动的显微镜实验。
• 通过持续追踪显微镜的数字孪生体，实现数据溯源的连续性，该孪生体实时同步真实传感器数据与参数。
• 构建统一、可互操作的基础设施，连接显微镜、边缘系统与HPC系统，实现自主、基于物理规律的实验。

提出的方法

• 在边缘硬件（如配备GPU的边缘服务器）上部署深度学习模型，对流式4D-STEM数据进行实时推理。
• 在边缘系统上实现在线数据压缩，以减少向HPC中心传输前的带宽占用。
• 使用开放标准数据容器（如USID格式）并附带机器可读元数据，确保系统互操作性与可复现性。
• 通过持续摄入实时传感器数据（如透镜电流、样品杆状态）构建电子显微镜的数字孪生体，以模拟并验证实验条件。
• 集成决策算法，利用处理后的数据实时指导显微镜控制，实现反馈驱动的实验。
• 设计网络协议，支持边缘系统、显微镜与HPC系统之间同时、可靠地传输数据、决策与结果。

实验结果

研究问题

• RQ1 边缘计算在大规模4D-STEM数据集采集与分析中，如何降低延迟与带宽需求？
• RQ2 在长时间的原位实验中，数字孪生体在确保数据溯源与检测元数据不一致性方面发挥何种作用？
• RQ3 边缘设备上的实时数据处理如何实现自主、反馈驱动的显微镜实验？
• RQ4 为实现显微镜、边缘系统与HPC资源在统一工作流中的同步，需要何种网络与数据管道架构？
• RQ5 标准化、开放的数据容器与元数据格式在自动化电子显微镜中，如何提升互操作性与可复现性？

主要发现

• 在边缘硬件上实现4D-STEM分析的深度学习推理是可行的，可在向HPC系统卸载前完成实时初步数据处理。
• 利用实时传感器数据持续构建显微镜的数字孪生体，可实现准确、动态的数据溯源追踪与元数据错误检测。
• 在边缘系统上实施在线数据压缩可显著减少数据传输量，缓解高通量TEM工作流中的网络与存储瓶颈。
• 边缘计算与HPC的集成实现了可扩展的自主显微镜数据处理流程，决策由实时数据分析驱动。
• 采用标准化数据容器（如USID）并附带机器可读元数据，可显著提升不同实验平台间的数据互操作性与可复现性。
• 所提出的架构通过全程保持完整实验溯源与动态状态追踪，实现了预测性、贝叶斯驱动的实验。