[論文レビュー] EAA: Automating materials characterization with vision language model agents

Ming Du, Yanqi Luo+4 more|arXiv (Cornell University)|Feb 17, 2026

Advanced Electron Microscopy Techniques and Applications被引用数 0

ひとこと要約

論文は Experiment Automation Agents (EAA) を提示します。これはビジョン-言語モデル駆動のシステムで、マルチモーダル推論、ツール強化アクション、任意の長期メモリを用いて複雑なビームライン実験を自動化し、高度放射光源（Advanced Photon Source）で実証されました。

ABSTRACT

We present Experiment Automation Agents (EAA), a vision-language-model-driven agentic system designed to automate complex experimental microscopy workflows. EAA integrates multimodal reasoning, tool-augmented action, and optional long-term memory to support both autonomous procedures and interactive user-guided measurements. Built on a flexible task-manager architecture, the system enables workflows ranging from fully agent-driven automation to logic-defined routines that embed localized LLM queries. EAA further provides a modern tool ecosystem with two-way compatibility for Model Context Protocol (MCP), allowing instrument-control tools to be consumed or served across applications. We demonstrate EAA at an imaging beamline at the Advanced Photon Source, including automated zone plate focusing, natural language-described feature search, and interactive data acquisition. These results illustrate how vision-capable agents can enhance beamline efficiency, reduce operational burden, and lower the expertise barrier for users.

研究の動機と目的

• AIエージェントを用いてビームラインのワークフローを自動化し、ユーザーの専門知識の参入障壁を低減する動機づけ。
• ビジョン-言語モデルを装置制御ツールと統合する柔軟でモジュール式のアーキテクチャを記述。
• ツール強化推論とメモリが、シンクロトロンビームラインで自律的かつ対話的な実験を可能にすることを示す。

提案手法

• タスクマネージャ、エージェント、ツールライブラリの3モジュール構成を持つ Experiment Automation Agents (EAA) を導入。
• プロセス内ツールと MCP-wrapped 外部ツールの両方を有効化し、アプリケーション間の互換性を確保。
• 論理駆動、ハイブリッド、エージェント駆動の3つのワークフローモードをサポートし、LLM の関与レベルを変化させる。
• ベクトルストアによる retrieval-augmented generation を用いた任意の長期メモリを組み込み。
• 機器と対話する際には制御可能なツール呼び出しとプロセス分離を優先し、安全で決定論的なツール実行を保証。
• EAA ツールが MCP サーバとしても、外部 MCP クライアントからも利用できるように、双方向の MCP 互換性を示す。

Figure 1: The main components of EAA and their interactions. The task manager contains the chat loop or workflow, creates and holds the agent object, and maintains the context. New messages coming from the user, auto-generated by the workflow logic, or responded by the agent are added to the context

実験結果

リサーチクエスチョン

• RQ1 ビジョン-言語モデルはシンクロトロンのビームラインで自律的かつ対話的な実験をどのように実現できるか。
• RQ2 LLM駆動の制御と明示的な解析ルーチンをどのようなアーキテクチャとワークフロー設計が最もバランス良く実現するか。
• RQ3 安全性と信頼性を保ちながら、ツールをMCPを介して標準化・共有するにはどうすればよいか。
• RQ4 memoryMechanisms (RAG) は複数セッションのビームライン運用と自動化の知識保持を改善できるか。
• RQ5 自動焦点合わせ、特徴探索、対話的データ取得などのタスクにおける EAA の実用的デモは何か。

主な発見

• EAA はゾーンプレートの自動焦点合わせを、光学系を反復的に走査・調整し、画像ベースのフィードバックを用いて線スキャンのFWHMを最小化することで実現できる。
• 特徴探索ワークフローは、言語で記述された特徴（例: Siemens 星）を、局所的な微調整走査と適応ステップサイズ設定を通じて特定できる。
• 対話的なデータ取得は、ユーザーが提供するスクリーンショットをガイドとして、正確な局所走査と多段階の改良を可能にする。
• ビジョン、プロンプト、機器制御の間の堅牢な相互作用を示し、画像ベースの重複検出や複雑なタスクのサブエージェントを含む。
• EAA はプロセス内ツール呼び出しと MCP ベースのツールサーバの両方をサポートし、他のAI・ビームラインソフトウェアとの相互運用性を実現する。

Figure 2: Three levels of LLM involvement in experiment automation tools. Examples are enumerated for each level.