[论文解读] Automated and Autonomous Experiment in Electron and Scanning Probe Microscopy

Sergei V. Kalinin, Maxim Ziatdinov+7 more|arXiv (Cornell University)|Mar 22, 2021

Force Microscopy Techniques and Applications参考文献 138被引用 4

一句话总结

本文提出了一种通过整合机器学习与人工智能来实现电子显微镜和扫描探针显微镜中自动化与自主实验的框架，以简化常规操作并提升成像过程中的决策能力。该框架强调领域知识、人机协作以及系统限制的作用，实现低延迟、高阶的实时实验规划，从而提升材料表征的效率。

ABSTRACT

Machine learning and artificial intelligence (ML/AI) are rapidly becoming an indispensable part of physics research, with domain applications ranging from theory and materials prediction to high-throughput data analysis. In parallel, the recent successes in applying ML/AI methods for autonomous systems from robotics through self-driving cars to organic and inorganic synthesis are generating enthusiasm for the potential of these techniques to enable automated and autonomous experiment (AE) in imaging. Here, we aim to analyze the major pathways towards AE in imaging methods with sequential image formation mechanisms, focusing on scanning probe microscopy (SPM) and (scanning) transmission electron microscopy ((S)TEM). We argue that automated experiments should necessarily be discussed in a broader context of the general domain knowledge that both informs the experiment and is increased as the result of the experiment. As such, this analysis should explore the human and ML/AI roles prior to and during the experiment, and consider the latencies, biases, and knowledge priors of the decision-making process. Similarly, such discussion should include the limitations of the existing imaging systems, including intrinsic latencies, non-idealities and drifts comprising both correctable and stochastic components. We further pose that the role of the AE in microscopy is not the exclusion of human operators (as is the case for autonomous driving), but rather automation of routine operations such as microscope tuning, etc., prior to the experiment, and conversion of low latency decision making processes on the time scale spanning from image acquisition to human-level high-order experiment planning.

研究动机与目标

• 开发一种利用机器学习与人工智能实现电子显微镜和扫描探针显微镜中自动化与自主实验的框架。
• 解决当前成像系统在自主运行背景下所面临的局限性，包括延迟、漂移和非理想性。
• 以协同方式整合人类专业知识与机器学习/人工智能决策机制，考虑知识先验、偏差以及实时反馈回路。
• 实现在人类水平时间尺度上的高阶实验规划，超越基础自动化，实现智能且自适应的实验。
• 将自主实验定位为并非对人类操作员的完全替代，而是作为自动化常规任务、加速材料科学发现的工具。

提出的方法

• 利用机器学习与人工智能自动化成像前的常规显微镜调谐与校准程序。
• 集成实时决策系统，按顺序处理图像数据，实现实验执行过程中的自适应控制。
• 将实验建模为反馈回路，利用领域知识和先验数据同时指导实验设计与实时调整。
• 考虑系统特定的约束，如固有延迟、漂移（可校正与随机性）以及测量非理想性。
• 采用分层决策架构，区分低延迟控制动作与高层规划任务。
• 强调知识的共同演化：实验提供模型信息，模型指导未来实验，形成闭环学习系统。

实验结果

研究问题

• RQ1 如何有效将机器学习与人工智能整合到扫描探针显微镜和透射电子显微镜中，以实现自主实验？
• RQ2 在实现可靠自主运行时，必须解决的关键系统级限制（如延迟、漂移和非理想性）有哪些？
• RQ3 在实验过程中，如何有意义地协调人类专业知识与机器学习/人工智能决策？
• RQ4 领域知识在指导自主实验设计与实时适应中发挥何种作用？
• RQ5 自主系统在多大程度上能够实现与人类水平推理相当的高阶实验规划？

主要发现

• 当机器学习/人工智能系统与领域知识及实时反馈机制相结合时，显微镜中的自主实验是可行的。
• 系统级约束（如漂移和延迟）显著影响自主系统的可靠性与性能，必须显式建模。
• 该框架实现了从人工调谐到自动化、智能化实验参数控制的转变，减少了人工干预。
• 自主系统能够在人类水平的时间尺度上执行高阶实验规划，提升效率与发现速度。
• 知识与实验的共同演化——即成像数据不断优化模型，而模型又指导未来实验——形成了闭环系统，增强长期发现能力。
• 人类操作员依然至关重要，但并非作为执行者，而是作为实验策略的策展人与设计者，AI则负责处理常规与实时决策。