[论文解读] Building Workflows for Interactive Human in the Loop Automated Experiment (hAE) in STEM-EELS

Utkarsh Pratiush, Kevin M. Roccapriore+4 more|arXiv (Cornell University)|Apr 10, 2024

Electron and X-Ray Spectroscopy TechniquesMaterials Science被引用 3

一句话总结

本文提出了一种用于STEM-EELS的人机协同自动化实验（hAE）框架，采用深度核学习（DKL）智能引导数据采集，聚焦于感兴趣区域，通过自适应超参数调优和实时监控避免陷入局部极小值，从而实现更高效的原子尺度结构发现，显著缩短实验时间并提升知识获取效率。

ABSTRACT

Exploring the structural, chemical, and physical properties of matter on the nano- and atomic scales has become possible with the recent advances in aberration-corrected electron energy-loss spectroscopy (EELS) in scanning transmission electron microscopy (STEM). However, the current paradigm of STEM-EELS relies on the classical rectangular grid sampling, in which all surface regions are assumed to be of equal a priori interest. This is typically not the case for real-world scenarios, where phenomena of interest are concentrated in a small number of spatial locations. One of foundational problems is the discovery of nanometer- or atomic scale structures having specific signatures in EELS spectra. Here we systematically explore the hyperparameters controlling deep kernel learning (DKL) discovery workflows for STEM-EELS and identify the role of the local structural descriptors and acquisition functions on the experiment progression. In agreement with actual experiment, we observe that for certain parameter combinations the experiment path can be trapped in the local minima. We demonstrate the approaches for monitoring automated experiment in the real and feature space of the system and monitor knowledge acquisition of the DKL model. Based on these, we construct intervention strategies, thus defining human-in the loop automated experiment (hAE). This approach can be further extended to other techniques including 4D STEM and other forms of spectroscopic imaging.

研究动机与目标

• 解决传统矩形网格采样在STEM-EELS中效率低下的问题，该方法对所有区域一视同仁，而忽略了感兴趣现象的非均匀分布。
• 克服在基于DKL的原子尺度特征发现过程中，自动化实验工作流易陷入局部极小值的挑战。
• 开发实时监控工具，用于在真实空间和特征空间中跟踪知识获取过程与模型置信度。
• 设计干预策略，使人类专家能够引导自动化工作流，确保对复杂材料进行稳健且自适应的探索。
• 建立一个可扩展的hAE框架，可推广至STEM-EELS以外的其他光谱成像技术，如4D STEM。

提出的方法

• 采用深度核学习（DKL）建模空间相关性，并对样品中所有位置的EELS光谱特征进行预测，同时量化不确定性。
• 使用采集函数（如期望改进和基于熵的准则）根据模型不确定性与预期信息增益，指导下一组采样点的选择。
• 将局部结构描述符（例如来自原子模拟或图像分析的结果）作为输入特征，以增强DKL模型的泛化能力和定位精度。
• 实现实时监控，包括在真实空间（样品坐标）和特征空间（光谱的潜在表征）中对模型预测与不确定性进行追踪。
• 设计交互式干预协议，允许人类专家重新加权采集函数、重新初始化模型或在模型行为变得次优时重新定向采样路径。
• 通过系统消融实验优化DKL模型的超参数（如核长度尺度、噪声方差），识别出能避免过早收敛的稳健配置。

实验结果

研究问题

• RQ1 不同采集函数如何影响基于DKL的STEM-EELS自动化实验的路径效率与收敛行为？
• RQ2 局部结构描述符在提升DKL模型在原子尺度特征发现过程中的准确性和定位能力方面发挥何种作用？
• RQ3 在真实空间和特征空间中进行实时监控，如何检测并防止模型陷入局部极小值？
• RQ4 当模型性能下降时，人机协同干预策略如何有效纠正或重新定向自动化实验工作流？
• RQ5 DKL的哪些超参数配置能实现对实验STEM-EELS数据中纳米尺度特征的最稳健、最高效的发现？

主要发现

• 某些采集函数与超参数的组合导致实验路径陷入局部极小值，凸显了采用自适应策略的必要性。
• 在真实空间和特征空间中监控模型不确定性，可实现对次优探索的早期检测，从而实现及时的人工干预。
• 整合局部结构描述符显著提升了DKL模型聚焦于已知原子尺度特征区域的能力，从而提高了发现效率。
• 人机协同干预策略在模型收敛受阻时成功引导了实验路径的重新定向，证明了专家监督的价值。
• 与传统网格采样相比，该框架显著减少了实验时间，并提升了对稀有或复杂原子结构的检测能力。
• 该方法具有通用性，可推广至4D STEM及其他光谱成像技术，有望在材料表征领域实现更广泛的应用。