[논문 리뷰] Automated and Autonomous Experiment in Electron and Scanning Probe Microscopy

Sergei V. Kalinin, Maxim Ziatdinov외 7명|arXiv (Cornell University)|2021. 03. 22.

Force Microscopy Techniques and Applications참고 문헌 138인용 수 4

한 줄 요약

이 논문은 전자현미경 및 스캐닝 프로브 현미경에서의 자동화되고 자율적인 실험을 위한 프레임워크를 제안한다. 기계학습과 인공지능을 통합하여 일상적인 운영을 간소화하고 이미징 중 의사결정을 향상시킨다. 도메인 지식, 인간-기계학습 협업, 시스템 한계를 강조함으로써 지연 시간을 줄이고 효율성을 높인 실시간 고차원 실험 계획을 가능하게 한다. 자료의 특성과 구조를 유지하며, 번역은 자연어 텍스트에만 적용한다.

ABSTRACT

Machine learning and artificial intelligence (ML/AI) are rapidly becoming an indispensable part of physics research, with domain applications ranging from theory and materials prediction to high-throughput data analysis. In parallel, the recent successes in applying ML/AI methods for autonomous systems from robotics through self-driving cars to organic and inorganic synthesis are generating enthusiasm for the potential of these techniques to enable automated and autonomous experiment (AE) in imaging. Here, we aim to analyze the major pathways towards AE in imaging methods with sequential image formation mechanisms, focusing on scanning probe microscopy (SPM) and (scanning) transmission electron microscopy ((S)TEM). We argue that automated experiments should necessarily be discussed in a broader context of the general domain knowledge that both informs the experiment and is increased as the result of the experiment. As such, this analysis should explore the human and ML/AI roles prior to and during the experiment, and consider the latencies, biases, and knowledge priors of the decision-making process. Similarly, such discussion should include the limitations of the existing imaging systems, including intrinsic latencies, non-idealities and drifts comprising both correctable and stochastic components. We further pose that the role of the AE in microscopy is not the exclusion of human operators (as is the case for autonomous driving), but rather automation of routine operations such as microscope tuning, etc., prior to the experiment, and conversion of low latency decision making processes on the time scale spanning from image acquisition to human-level high-order experiment planning.

연구 동기 및 목표

• 기계학습과 인공지능을 활용하여 전자현미경 및 스캐닝 프로브 현미경에서의 자동화되고 자율적인 실험을 위한 프레임워크를 개발한다.
• 자율 운영의 맥락에서 지연 시간, 드리프트, 비이상성과 같은 현재의 이미징 시스템의 한계를 해결한다.
• 지식 사전, 편향, 실시간 피드백 루프를 고려하여 인간의 전문성과 기계학습/인공지능 의사결정을 상호보완적으로 통합한다.
• 인간 수준의 시간 척도에서 고차원 실험 계획을 가능하게 하여 기본 자동화를 넘어서 지능적이고 적응적인 실험을 실현한다.
• 자율적 실험을 인간 운영자의 완전한 대체로 보지 않고, 자주적인 작업을 자동화하고 자료 과학의 발견 속도를 가속화하는 도구로 위치시킨다.

제안 방법

• 이미징 이전에 기계학습과 인공지능을 활용하여 일상적인 현미경 캘리브레이션 및 튜닝 절차를 자동화한다.
• 이미지 데이터를 순차적으로 처리하는 실시간 의사결정 시스템을 통합하여 실험 실행 중 적응적 제어를 가능하게 한다.
• 도메인 지식과 이전 데이터가 실험 설계와 실시간 조정을 모두 이끄는 피드백 루프로 실험을 모델링한다.
• 내재된 지연 시간, 보정 가능한 드리프트 및 확률적 드리프트, 측정의 비이상성과 같은 시스템 고유의 제약 조건을 고려한다.
• 저지연 제어 조치와 고차원 계획 작업을 구분하는 계층적 의사결정 아키텍처를 사용한다.
• 지식의 공진화를 강조한다: 실험은 모델을 향상시키고, 모델은 향후 실험을 이끈다. 이는 폐쇄 루프 학습 시스템을 형성한다.

실험 결과

연구 질문

• RQ1 기계학습과 인공지능은 스캐닝 프로브 현미경 및 투과전자현미경에서 자율적 실험을 어떻게 효과적으로 통합할 수 있는가?
• RQ2 신뢰할 수 있는 자율 운영을 위해 해결해야 할 핵심 시스템 수준의 제약 조건(지연 시간, 드리프트, 비이상성 등)은 무엇인가?
• RQ3 실험 과정에서 인간의 전문성과 기계학습/인공지능 의사결정을 어떻게 의미 있게 조율할 수 있는가?
• RQ4 도메인 지식은 자율적 실험 설계와 실시간 적응에 어떤 역할을 하는가?
• RQ5 자율적 시스템은 현미경에서 인간 수준의 사고에 비견되는 고차원 실험 계획을 어느 정도 수행할 수 있는가?

주요 결과

• 기계학습/인공지능 시스템이 도메인 지식과 실시간 피드백 메커니즘과 통합될 경우, 현미경에서의 자율적 실험은 실현 가능하다.
• 드리프트와 지연 시간과 같은 시스템 수준의 제약 조건은 자율적 시스템의 신뢰성과 성능에 상당한 영향을 미치며, 이를 명시적으로 모델링해야 한다.
• 이 프레임워크는 수동 튜닝에서 자동화된 지능적인 실험 매개변수 제어로의 전환을 가능하게 하여 인간의 간섭을 감소시킨다.
• 자율적 시스템은 인간 수준의 시간 척도에서 고차원 실험 계획을 수행할 수 있으며, 이는 효율성 향상과 발견 속도 향상에 기여한다.
• 데이터와 모델 간의 지식 공진화—이미징에서 유도된 데이터가 모델을 향상시키고, 반대로 모델이 향후 실험을 이끈다—는 폐쇄 루프 시스템을 형성하여 장기적인 발견 능력을 향상시킨다.
• 인간 운영자는 실행자로써가 아니라, 실험 전략의 기획자이자 감시자로서 여전히 필수적이다. AI는 일상적이고 실시간 결정을 담당한다.