[논문 리뷰] AtomAI: A Deep Learning Framework for Analysis of Image and Spectroscopy Data in (Scanning) Transmission Electron Microscopy and Beyond

Maxim Ziatdinov, Ayana Ghosh외 2명|arXiv (Cornell University)|2021. 05. 16.

Electron and X-Ray Spectroscopy Techniques참고 문헌 3인용 수 12

한 줄 요약

AtomAI는 (S)TEM 이미지 및 분광 데이터 분석을 위한 오픈소스 딥러닝 프레임워크로, 기기별 전용 라이브러리, 딥러닝, 시뮬레이션 도구를 통합합니다. 원자 척도의 이미지 세그멘테이션, 불변 변분 오토인코더(VAE)를 통한 분리 표현 학습, 인코더-디코더 모델을 통한 구조-성질 맵핑을 가능하게 하며, 제1원리 계산과 원활하게 통합됩니다.

ABSTRACT

AtomAI is an open-source software package bridging instrument-specific Python libraries, deep learning, and simulation tools into a single ecosystem. AtomAI allows direct applications of the deep convolutional neural networks for atomic and mesoscopic image segmentation converting image and spectroscopy data into class-based local descriptors for downstream tasks such as statistical and graph analysis. For atomically-resolved imaging data, the output is types and positions of atomic species, with an option for subsequent refinement. AtomAI further allows the implementation of a broad range of image and spectrum analysis functions, including invariant variational autoencoders (VAEs). The latter consists of VAEs with rotational and (optionally) translational invariance for unsupervised and class-conditioned disentanglement of categorical and continuous data representations. In addition, AtomAI provides utilities for mapping structure-property relationships via im2spec and spec2im type of encoder-decoder models. Finally, AtomAI allows seamless connection to the first principles modeling with a Python interface, including molecular dynamics and density functional theory calculations on the inferred atomic position. While the majority of applications to date were based on atomically resolved electron microscopy, the flexibility of AtomAI allows straightforward extension towards the analysis of mesoscopic imaging data once the labels and feature identification workflows are established/available. The source code and example notebooks are available at https://github.com/pycroscopy/atomai.

연구 동기 및 목표

• 기기별 전용 데이터 파이프라인, 딥러닝, 시뮬레이션 도구를 통합하여 재료 특성 분석을 위한 통합 생태계를 구축하기.
• 딥 컨volution 네트워크를 활용하여 (S)TEM 이미지 및 스펙트럼에서 원자 및 중간 척도 특징을 자동으로 정확하게 세그멘테이션하기.
• 회전 및 이동 불변성을 통해 분류형 및 연속형 데이터 표현을 분리하는 불변 변분 오토인코더(VAE) 개발하기.
• im2spec 및 spec2im 모델을 통해 구조와 성질 간의 종단간 맵핑을 수립하여 재료 성질 예측 수행하기.
• 학습된 원자 구조를 제1원리 시뮬레이션(DFT 및 분자 동역학 포함)과 연결하기 위한 파이썬 인터페이스 제공하기.

제안 방법

• 원자 종류의 픽셀 단위 분류를 위한 딥 컨volution 네트워크를 활용하여, 분류 기반 국소 기술자 생성하기.
• 이미지 및 스펙트럼 데이터의 분리되고 강건한 표현을 학습하기 위해, 회전 및 선택적 이동 불변성을 갖춘 불변 VAE 구현하기.
• 구조적 특징에서 분광적 성질로, 그리고 그 반대로의 맵핑을 위해 인코더-디코더 아키텍처(im2spec 및 spec2im) 도입하기.
• 파이썬 인터페이스를 통해 제1원리 시뮬레이션 도구와 통합하여, 예측된 원자 위치에서 DFT 및 분자 동역학 워크플로우로 피드백 제공하기.
• 라벨이 붙은 데이터셋과 기능 식별 워크플로우가 확립되면, 중간 척도 영상 데이터로의 확장성 제공하기.
• 재현 가능성과 커뮤니티 도입을 위해 오픈소스 코드 및 예제 Jupyter 노트북 제공하기.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 어떻게 기기별 전용 (S)TEM 데이터 수집 파이프라인과 통합되어 원자 척도 분석에 효과적으로 활용될 수 있는가?
• RQ2 불변 변분 오토인코더(VAE)는 (S)TEM 데이터에서 분류형(예: 원자 종류) 및 연속형(예: 변형, 전하) 특징을 어느 정도 효과적으로 분리할 수 있는가?
• RQ3 종단간 im2spec 및 spec2im 모델은 구조적 특징에서 분광 응답을 정확하게 예측하고, 그 반대로도 성능을 보일 수 있는가?
• RQ4 딥러닝으로 학습된 원자 구조는 어떻게 제1원리 시뮬레이션과 원활하게 연결되어 성질 검증에 활용될 수 있는가?
• RQ5 AtomAI는 원자 해상도를 초월한 중간 척도 영상 및 분광 데이터에 대해 어느 정도 확장 가능한가?

주요 결과

• AtomAI는 (S)TEM 데이터에 직접 딥 컨볼루션 네트워크를 적용하여 정확한 원자 종류 분류 및 위치 예측을 가능하게 하며, 선택적 정밀 조정 기능 제공.
• 불변 VAE는 분류형 및 연속형 데이터 표현을 효과적으로 분리하여, 이미지 데이터에서의 회전 및 이동에 대한 강건성을 향상시킴.
• im2spec 및 spec2im 모델은 효과적인 구조-성질 맵핑을 보여주며, 구조적 입력에서 분광적 특징을 예측하고, 그 반대로도 성능을 확보함.
• 제1원리 시뮬레이션과의 원활한 통합을 통해 DFT 및 분자 동역학를 활용하여 예측된 원자 구조의 검증 및 정밀 조정 가능.
• 라벨이 붙은 데이터셋과 기능 워크플로우 확보 시, 원자 해상도를 초월한 중간 척도 영상 데이터 지원을 위한 확장성 확보.
• 예제 노트북과 함께 오픈소스로 배포되어 재현 가능성이 보장되며, 재료 과학 및 전자현미경 분야의 도입을 가속화함.