[논문 리뷰] Building Workflows for Interactive Human in the Loop Automated Experiment (hAE) in STEM-EELS

Utkarsh Pratiush, Kevin M. Roccapriore외 4명|arXiv (Cornell University)|2024. 04. 10.

Electron and X-Ray Spectroscopy TechniquesMaterials Science인용 수 3

한 줄 요약

이 논문은 인간이 참여하는 자동 실험(hAE) 프레임워크를 제안하며, STEM-EELS에서 깊이 있는 커널 학습(DKL)을 사용하여 관심 영역에 집중하고 적응형 초모수 조정 및 실시간 모니터링을 통해 국소 최소값에 갇히는 것을 방지함으로써 지능적으로 데이터 수집을 이끌어내는 방법을 제시한다. 이 접근법은 실험 시간을 단축하고 지식 획득을 향상시켜 원자 크기의 구조를 효율적으로 발견할 수 있도록 한다.

ABSTRACT

Exploring the structural, chemical, and physical properties of matter on the nano- and atomic scales has become possible with the recent advances in aberration-corrected electron energy-loss spectroscopy (EELS) in scanning transmission electron microscopy (STEM). However, the current paradigm of STEM-EELS relies on the classical rectangular grid sampling, in which all surface regions are assumed to be of equal a priori interest. This is typically not the case for real-world scenarios, where phenomena of interest are concentrated in a small number of spatial locations. One of foundational problems is the discovery of nanometer- or atomic scale structures having specific signatures in EELS spectra. Here we systematically explore the hyperparameters controlling deep kernel learning (DKL) discovery workflows for STEM-EELS and identify the role of the local structural descriptors and acquisition functions on the experiment progression. In agreement with actual experiment, we observe that for certain parameter combinations the experiment path can be trapped in the local minima. We demonstrate the approaches for monitoring automated experiment in the real and feature space of the system and monitor knowledge acquisition of the DKL model. Based on these, we construct intervention strategies, thus defining human-in the loop automated experiment (hAE). This approach can be further extended to other techniques including 4D STEM and other forms of spectroscopic imaging.

연구 동기 및 목표

• 현상의 관심 영역이 균일하게 분포되어 있지 않은 데도 불구하고 모든 영역을 동일하게 다루는 전통적인 직사각형 격자 샘플링의 비효율성을 해결한다.
• 원자 크기의 특징을 탐색하는 DKL 기반의 자동 실험 워크플로우에서 국소 최소값에 갇히는 문제를 극복한다.
• 실험 중 지식 획득과 모델 신뢰도를 추적하기 위해 실제 공간과 특징 공간에서 실시간 모니터링 도구를 개발한다.
• 인간 전문가가 자동 워크플로우를 이끌 수 있도록 하는 인터벤션 전략을 설계하여 복잡한 재료의 견고하고 적응 가능한 탐색을 보장한다.
• STEM-EELS를 넘어 4D STEM과 같은 다른 분광 영상 기법에도 적용 가능한 확장 가능한 hAE 프레임워크를 구축한다.

제안 방법

• 공간 상관관계를 모델링하고 샘플 전역에서 EELS 스펙트럼 서명을 예측하며 불확실성 정량화를 수행하기 위해 깊이 있는 커널 학습(DKL)을 사용한다.
• 기대 개선도 및 엔트로피 기반 기준과 같은 할당 함수를 사용하여 모델의 불확실성과 기대 정보 수확량에 기반해 다음 샘플링 지점을 선택한다.
• 원자 구조 시뮬레이션 또는 영상 분석에서 유도된 국소 구조 기술자(예: 원자 수준의 특징)를 입력 특징으로 통합하여 DKL 모델의 일반화 및 국소화 능력을 향상시킨다.
• 실제 공간(샘플 좌표)과 특징 공간(스펙트럼의 잠재 표현)에서 모델 예측과 불확실성의 실시간 모니터링을 구현한다.
• 인간 전문가가 할당 함수의 재가중, 모델 재초기화 또는 샘플링 경로 재지향을 수행할 수 있도록 상호작용 가능한 인터벤션 프로토콜을 설계한다.
• 모델의 초모수(예: 커널 길이 척도, 노이즈 분산)를 체계적 분석을 통해 최적화하여 조기 수렴을 방지하는 견고한 설정을 식별한다.

실험 결과

연구 질문

• RQ1 다양한 할당 함수가 STEM-EELS에서 DKL 기반 자동 실험의 경로 효율성과 수렴 행동에 어떤 영향을 미치는가?
• RQ2 국소 구조 기술자가 원자 크기의 특징 탐색 중 DKL 모델의 정확도와 국소화 능력 향상에 어떤 역할을 하는가?
• RQ3 실제 공간과 특징 공간에서 실시간 모니터링을 통해 국소 최소값에 갇히는 것을 어떻게 감지하고 방지할 수 있는가?
• RQ4 모델 성능 저하가 발생했을 때 인간이 참여하는 인터벤션 전략이 자동 실험 워크플로우를 효과적으로 수정하거나 재지향하는 데 어떻게 기여하는가?
• RQ5 DKL의 어떤 초모수 설정이 실험적 STEM-EELS 데이터에서 나노스케일 특징을 가장 견고하고 효율적으로 탐색하는 데 가장 유리한가?

주요 결과

• 일부 할당 함수와 초모수 조합이 실험 경로를 국소 최소값에 갇히게 하여 적응 전략의 필요성을 부각시켰다.
• 실제 공간과 특징 공간에서의 모델 불확실성 모니터링을 통해 열악한 탐색을 조기에 감지하고 시기적절한 인간의 간섭을 가능케 하였다.
• 국소 구조 기술자의 통합은 DKL 모델이 알려진 원자 크기의 특징 영역에 집중할 수 있도록 크게 향상시켜 탐색 효율성을 증가시켰다.
• 인간이 참여하는 인터벤션 전략은 모델 수렴이 저하되었을 때 실험을 성공적으로 재지향시켰으며 전문가의 감시가 중요한 가치를 지닌다는 것을 입증하였다.
• 전통적인 격자 샘플링에 비해 실험 시간을 단축하고 희귀하거나 복잡한 원자 구조를 더 잘 탐지하는 데 성공하였다.
• 이 접근법은 4D STEM 및 기타 분광 영상 기법으로 일반화 가능하여 재료 특성 분석 분야에서 광범위한 적용 가능성을 보였다.