[논문 리뷰] A roadmap for edge computing enabled automated multidimensional transmission electron microscopy

Debangshu Mukherjee, Kevin M. Roccapriore외 9명|arXiv (Cornell University)|2022. 10. 05.

Advanced Electron Microscopy Techniques and Applications인용 수 4

한 줄 요약

이 논문은 고성능 계산(HPC) 시스템으로의 오프로딩 이전에 현지 엣지 장치에서 히퍼스펙트럼 STEM 데이터를 처리하여 실시간, 자동화된 다차원 투자전자현미경(TEM)을 가능하게 하는 엣지 컴퓨팅 프레임워크를 제안한다. 엣지 하드웨어에서 딥러닝 추론을 구현하고, 표준화된 데이터 컨테이너와 디지털 트윈을 통한 기록 추적을 주장하며, 자율적이고 데이터 기반의 실험을 위해 현미경, 엣지, HPC 시스템을 통합하는 네트워킹 프로토콜을 제안한다.

ABSTRACT

The advent of modern, high-speed electron detectors has made the collection of multidimensional hyperspectral transmission electron microscopy datasets, such as 4D-STEM, a routine. However, many microscopists find such experiments daunting since such datasets' analysis, collection, long-term storage, and networking remain challenging. Some common issues are the large and unwieldy size of the said datasets, often running into several gigabytes, non-standardized data analysis routines, and a lack of clarity about the computing and network resources needed to utilize the electron microscope fully. However, the existing computing and networking bottlenecks introduce significant penalties in each step of these experiments, and thus, real-time analysis-driven automated experimentation for multidimensional TEM is exceptionally challenging. One solution is integrating microscopy with edge computing, where moderately powerful computational hardware performs the preliminary analysis before handing off the heavier computation to HPC systems. In this perspective, we trace the roots of computation in modern electron microscopy, demonstrate deep learning experiments running on an edge system, and discuss the networking requirements for tying together microscopes, edge computers, and HPC systems.

연구 동기 및 목표

• 실시간 분석과 자동화를 방해하는 대규모이고 다루기 어려운 히퍼스펙트럼 TEM 데이터셋(예: 4D-STEM)을 다루는 데 도전하는 것.
• 엣지 컴퓨팅을 HPC 시스템과 통합하여 데이터 전송, 저장, 분석의 병목 현상을 해결하는 것.
• 검출기에서 엣지 시스템으로 데이터 스트리밍을 통해 실시간 압축과 초도 분석을 수행함으로써 자동화된 의사결정 기반 현미경을 가능하게 하는 것.
• 실시간 센서 데이터와 설정을 반영하는 디지털 트윈을 통해 지속적인 기록 추적을 확보하는 것.
• 현미경, 엣지 시스템, HPC를 연결하는 통합적이고 상호운용 가능한 인프라를 구축하여 자율적이고 물리학 기반의 실험을 실현하는 것.

제안 방법

• GPU를 탑재한 엣지 서버와 같은 엣지 하드웨어에 딥러닝 모델을 구현하여 스트리밍 4D-STEM 데이터에 대한 실시간 추론을 수행하는 것.
• HPC 센터로의 데이터 전송 이전에 네트워크 대역폭 사용량을 줄이기 위해 엣지 시스템에서 온라인 데이터 압축을 구현하는 것.
• 상호운용성과 재현 가능성을 확보하기 위해 기계로 읽을 수 있는 메타데이터를 포함한 오픈 표준 데이터 컨테이너(예: USID 형식)를 사용하는 것.
• 실시간 센서 데이터(예: 렌즈 전류, 홀더 상태 등)를 지속적으로 수신하여 현미경의 디지털 트윈을 구축함으로써 실험 조건을 시뮬레이션하고 검증하는 것.
• 처리된 데이터를 활용해 현미경 제어를 지도하는 의사결정 알고리즘을 통합하여 피드백 기반 실험을 실현하는 것.
• 엣지, 현미경, HPC 시스템 간에 동시에 안정적인 데이터, 결정, 결과 스트리밍을 지원하는 네트워킹 프로토콜을 설계하는 것.

실험 결과

연구 질문

• RQ1 엣지 컴퓨팅은 대규모 4D-STEM 데이터셋의 획득 및 분석에서 지연 시간과 대역폭 요구량을 어떻게 줄일 수 있는가?
• RQ2 장기간의 인-사이트 실험 중에 디지털 트윈은 데이터 기록 추적과 메타데이터 일관성 문제 탐지에 어떤 역할을 할 수 있는가?
• RQ3 엣지 장치에서의 실시간 데이터 처리는 자율적이고 피드백 기반의 현미경 실험을 어떻게 가능하게 하는가?
• RQ4 현미경, 엣지 시스템, HPC 자원을 통합된 워크플로우로 동기화하기 위해 필요한 네트워킹 및 데이터 파이프라인 아키텍처는 무엇인가?
• RQ5 표준화된 오픈 소스 데이터 컨테이너와 메타데이터 형식은 자동화된 전자현미경에서 상호운용성과 재현 가능성을 어떻게 향상시킬 수 있는가?

주요 결과

• 4D-STEM 분석을 위한 딥러닝 추론은 엣지 하드웨어에서 실현 가능하여 HPC 오프로딩 이전에 실시간 초도 데이터 처리를 가능하게 한다.
• 실시간 센서 데이터를 활용한 지속적인 디지털 트윈 모델링은 정확하고 동적 기반의 기록 추적과 메타데이터 오류 탐지 기능을 제공한다.
• 엣지 시스템에서의 온라인 데이터 압축은 데이터 전송량을 감소시켜 고성능 TEM 워크플로우에서 네트워크 및 저장소 병목 현상을 완화한다.
• 엣지 컴퓨팅과 HPC의 통합은 실시간 데이터 분석에 기반한 확장 가능한 자율적 현미경 파이프라인을 가능하게 하며, 의사결정이 데이터 기반으로 이뤄지도록 한다.
• 기계로 읽을 수 있는 메타데이터를 포함한 표준화된 데이터 컨테이너(예: USID)는 다양한 실험 플랫폼 간의 데이터 상호운용성과 재현 가능성을 크게 향상시킨다.
• 제안된 아키텍처는 전체 과정 동안 실험 기록과 동적 상태 추적을 유지함으로써 예측 가능하고 베이지안 기반의 실험을 가능하게 한다.