[论文解读] AtomAI: A Deep Learning Framework for Analysis of Image and Spectroscopy Data in (Scanning) Transmission Electron Microscopy and Beyond

Maxim Ziatdinov, Ayana Ghosh+2 more|arXiv (Cornell University)|May 16, 2021

Electron and X-Ray Spectroscopy Techniques参考文献 3被引用 12

一句话总结

AtomAI 是一个开源的深度学习框架，整合了仪器专用库、深度学习与仿真工具，用于分析 (S)TEM 图像和光谱数据。它支持原子尺度的图像分割、用于解耦表示学习的不变变分自编码器，以及通过编码器-解码器模型实现的结构-性质映射，并与第一性原理计算无缝集成。

ABSTRACT

AtomAI is an open-source software package bridging instrument-specific Python libraries, deep learning, and simulation tools into a single ecosystem. AtomAI allows direct applications of the deep convolutional neural networks for atomic and mesoscopic image segmentation converting image and spectroscopy data into class-based local descriptors for downstream tasks such as statistical and graph analysis. For atomically-resolved imaging data, the output is types and positions of atomic species, with an option for subsequent refinement. AtomAI further allows the implementation of a broad range of image and spectrum analysis functions, including invariant variational autoencoders (VAEs). The latter consists of VAEs with rotational and (optionally) translational invariance for unsupervised and class-conditioned disentanglement of categorical and continuous data representations. In addition, AtomAI provides utilities for mapping structure-property relationships via im2spec and spec2im type of encoder-decoder models. Finally, AtomAI allows seamless connection to the first principles modeling with a Python interface, including molecular dynamics and density functional theory calculations on the inferred atomic position. While the majority of applications to date were based on atomically resolved electron microscopy, the flexibility of AtomAI allows straightforward extension towards the analysis of mesoscopic imaging data once the labels and feature identification workflows are established/available. The source code and example notebooks are available at https://github.com/pycroscopy/atomai.

研究动机与目标

• 将仪器专用的数据处理流程、深度学习与仿真工具整合为统一的材料表征生态系统。
• 利用深度卷积神经网络，实现 (S)TEM 图像与光谱中原子与介观特征的自动化、高精度分割。
• 开发不变变分自编码器（VAEs），通过旋转与平移不变性，实现类别型与连续型数据表示的解耦。
• 通过 im2spec 与 spec2im 模型建立从结构到性质的端到端映射，用于材料性质预测。
• 提供 Python 接口，实现学习到的原子结构与第一性原理模拟（包括 DFT 与分子动力学）的耦合。

提出的方法

• 利用深度卷积神经网络对 (S)TEM 图像中的原子种类进行像素级分类，生成基于类别的局部描述符。
• 实现具有旋转与可选平移不变性的不变 VAE，以学习图像与光谱数据的解耦、鲁棒表示。
• 引入编码器-解码器架构（im2spec 与 spec2im），实现结构特征到光谱性质的映射，反之亦然。
• 通过 Python 接口与第一性原理模拟工具集成，实现从预测的原子位置向 DFT 与分子动力学工作流的反馈。
• 在建立标注数据集与特征识别工作流后，支持对介观成像数据的灵活扩展。
• 提供开源代码与示例 Jupyter 笔记本，以确保可复现性并促进社区采纳。

实验结果

研究问题

• RQ1 如何有效整合深度学习模型与仪器专用的 (S)TEM 数据采集流程，以实现原子尺度分析？
• RQ2 不变变分自编码器在多大程度上能解耦 (S)TEM 数据中的类别型（如原子种类）与连续型（如应变、电荷）特征？
• RQ3 端到端的 im2spec 与 spec2im 模型能否准确地从结构特征预测光谱响应，反之亦然？
• RQ4 如何将深度学习所学习的原子结构与第一性原理模拟无缝链接，以实现性质验证？
• RQ5 AtomAI 在多大程度上可扩展至原子分辨率之外的介观尺度成像与光谱数据？

主要发现

• AtomAI 可直接应用于 (S)TEM 数据的深度卷积神经网络，实现原子种类分类与位置的高精度预测，支持可选的优化精修。
• 不变 VAE 有效解耦了类别型与连续型数据表示，提升了对图像数据中旋转与平移的鲁棒性。
• im2spec 与 spec2im 模型展示了有效的结构-性质映射能力，可实现从结构输入预测光谱特征，以及从光谱特征反推结构。
• 与第一性原理模拟的无缝集成，使得可通过 DFT 与分子动力学对预测的原子结构进行验证与优化。
• 该框架在具备标注数据与特征工作流后，可扩展至介观尺度成像，具备良好可扩展性。
• 开源发布并附带示例笔记本，确保了可复现性，并加速了材料科学与电子显微学领域的采纳。