[논문 리뷰] EAA: Automating materials characterization with vision language model agents

Ming Du, Yanqi Luo외 4명|arXiv (Cornell University)|2026. 02. 17.

Advanced Electron Microscopy Techniques and Applications인용 수 0

한 줄 요약

논문은 Experiment Automation Agents (EAA)를 제시합니다. 이는 멀티모달 추론, 도구 보강 동작 및 선택적 장기 기억이 있는 시각-언어 모델 기반의 시스템으로, 복잡한 빔라인 실험을 자동화하며, Advanced Photon Source에서 시연되었습니다.

ABSTRACT

We present Experiment Automation Agents (EAA), a vision-language-model-driven agentic system designed to automate complex experimental microscopy workflows. EAA integrates multimodal reasoning, tool-augmented action, and optional long-term memory to support both autonomous procedures and interactive user-guided measurements. Built on a flexible task-manager architecture, the system enables workflows ranging from fully agent-driven automation to logic-defined routines that embed localized LLM queries. EAA further provides a modern tool ecosystem with two-way compatibility for Model Context Protocol (MCP), allowing instrument-control tools to be consumed or served across applications. We demonstrate EAA at an imaging beamline at the Advanced Photon Source, including automated zone plate focusing, natural language-described feature search, and interactive data acquisition. These results illustrate how vision-capable agents can enhance beamline efficiency, reduce operational burden, and lower the expertise barrier for users.

연구 동기 및 목표

• 사용자의 전문 지식 장벽을 낮추고 빔라인 워크플로를 자동화하기 위해 AI 에이전트의 활용을 촉진한다.
• 비전-언어 모델을 계측 제어 도구와 통합하는 유연하고 모듈식 아키텍처를 설명한다.
• 도구 보강 추론과 기억이 싱크로트론 빔라인에서 자율적이고 인터랙티브한 실험을 가능하게 하는 방법을 보여준다.

제안 방법

• Experiment Automation Agents (EAA)를 세 모듈 아키텍처로 도입한다: task manager, agent, 및 tool library.
• 크로스 애플리케이션 호환성을 위해 인 프로세스 도구와 MCP-랩된 외부 도구 모두를 가능하게 한다.
• LLM 개입 수준이 다양한 세 가지 워크플로우 모드(논리 주도, 하이브리드, 에이전트 주도)를 지원한다.
• 검색 보강 생성을 위한 벡터 저장소를 통한 선택적 장기 기억을 포함한다.
• 계측기와 상호 작용할 때 제어된 도구 호출과 프로세스 분리를 우선시하여 안전하고 결정론적인 도구 실행을 보장한다.
• EAA 도구가 MCP 서버로 사용되거나 외부 MCP 클라이언트에서 소비될 수 있도록 양방향 MCP 호환성을 시연한다.

Figure 1: The main components of EAA and their interactions. The task manager contains the chat loop or workflow, creates and holds the agent object, and maintains the context. New messages coming from the user, auto-generated by the workflow logic, or responded by the agent are added to the context

실험 결과

연구 질문

• RQ1 비전-언어 모델이 어떻게 싱크로트론 빔라인에서 자율적이고 인터랙티브한 실험을 가능하게 할 수 있는가?
• RQ2 강력한 기기 자동화를 위한 LLM 주도 제어와 명시적 분석 루틴의 균형을 최적으로 이루는 아키텍처 및 워크플로 디자인은 무엇인가?
• RQ3 도구를 표준화하고 응용 간에 공유하는 방법은 MCP를 통해 어떤 방식으로도 가능하며 동시에 계측 안전성과 신뢰성을 유지하는가?
• RQ4 메모리 메커니즘(RAG)이 다중 세션 빔라인 운영 및 자동화를 위한 지식 보존을 향상시킬 수 있는가?
• RQ5 자동 포커싱, 특징 검색, 인터랙티브 데이터 수집과 같은 작업에서 EAA의 실용적 시연은 무엇인가?

주요 결과

• EAA는 zone plate의 자동 포커싱을 반복적으로 스캔하고 광학계를 조정하며 이미지 기반 피드백을 사용해 라인 스캔 FWHM을 최소화할 수 있다.
• 언어로 기술된 특징(예: Siemens star)을 로컬 미세 스캔과 적응적 보폭 설정을 통해 찾는 특징 탐색 워크플로우를 가능하게 한다.
• 사용자가 제공한 스크린샷에 의해 인터랙티브 데이터 수집을 안내하여 정밀한 로컬 스캔과 다단계 정교화를 가능하게 한다.
• 비전, 프롬프트, 및 계측 제어 간의 강력한 상호 작용을 보여주며, 이미지 기반 중첩 검사와 복잡한 작업을 위한 서브 에이전트를 포함한다.
• EAA는 인프로세스 도구 호출과 MCP 기반 도구 서버를 모두 지원하여 다른 AI 및 빔라인 소프트웨어와의 상호 운용성을 가능하게 한다.

Figure 2: Three levels of LLM involvement in experiment automation tools. Examples are enumerated for each level.