[论文解读] Autonomous Microscopy Experiments through Large Language Model Agents

Indrajeet Mandal, Jitendra Soni+6 more|ArXiv.org|Dec 18, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出AILA，一种基于大语言模型（LLM）的智能体框架，用于实现原子力显微镜（AFM）实验的端到端自主化，涵盖从实验设计到数据分析的全过程。尽管在特定领域的问答任务中表现优异，但像Claude 3.5 Sonnet这样的最先进大语言模型在智能体工作流中表现欠佳，暴露出提示敏感性、指令遵循能力以及多智能体协作方面的关键挑战。

ABSTRACT

The emergence of large language models (LLMs) has accelerated the development of self-driving laboratories (SDLs) for materials research. Despite their transformative potential, current SDL implementations rely on rigid, predefined protocols that limit their adaptability to dynamic experimental scenarios across different labs. A significant challenge persists in measuring how effectively AI agents can replicate the adaptive decision-making and experimental intuition of expert scientists. Here, we introduce AILA (Artificially Intelligent Lab Assistant), a framework that automates atomic force microscopy (AFM) through LLM-driven agents. Using AFM as an experimental testbed, we develop AFMBench-a comprehensive evaluation suite that challenges AI agents based on language models like GPT-4o and GPT-3.5 to perform tasks spanning the scientific workflow: from experimental design to results analysis. Our systematic assessment shows that state-of-the-art language models struggle even with basic tasks such as documentation retrieval, leading to a significant decline in performance in multi-agent coordination scenarios. Further, we observe that LLMs exhibit a tendency to not adhere to instructions or even divagate to additional tasks beyond the original request, raising serious concerns regarding safety alignment aspects of AI agents for SDLs. Finally, we demonstrate the application of AILA on increasingly complex experiments open-ended experiments: automated AFM calibration, high-resolution feature detection, and mechanical property measurement. Our findings emphasize the necessity for stringent benchmarking protocols before deploying AI agents as laboratory assistants across scientific disciplines.

研究动机与目标

• 通过引入更具适应性的基于智能体的框架，解决材料研究中刚性、基于协议的自动驾驶实验室的局限性。
• 弥合专家科学直觉与当前AI驱动的实验系统在动态、实时显微成像环境中的差距。
• 开发一个全面的基准测试套件AFMBench，以严格评估AI智能体在AFM实验全科学工作流中的表现。
• 探究大语言模型在科学智能体角色中的可靠性与鲁棒性，特别是在协调、指令遵循和任务执行方面。
• 识别关键的故障模式，如提示脆弱性和指令偏离，这些都会对真实科学实验室中的安全部署构成威胁。

提出的方法

• 设计AILA，一种多智能体框架，其中由大语言模型驱动的专用智能体分别负责AFM工作流的不同阶段：规划、执行、监控和分析。
• 采用模块化智能体架构，结合角色特定的提示工程与记忆机制，以支持复杂、顺序性的科学任务。
• 开发AFMBench基准测试套件，包含15项多样化任务，涵盖AFM校准、特征检测、机械性能测量以及石墨烯层数计数。
• 通过结构化提示和思维链推理，引导大语言模型智能体完成实验决策与仪器控制。
• 开展消融研究，对比单智能体与多智能体架构，评估协调能力与性能之间的权衡。
• 系统性地改变提示内容，评估大语言模型智能体在微小输入变化下的敏感性与鲁棒性。

实验结果

研究问题

• RQ1 大语言模型驱动的智能体是否能在多样化科学任务中可靠地实现原子力显微镜实验的端到端自动化？
• RQ2 与标准领域特定问答基准测试中的表现相比，最先进大语言模型在真实科学智能体角色中的表现如何？
• RQ3 大语言模型智能体在多大程度上表现出提示脆弱性，即提示结构的微小变化是否会导致性能显著下降？
• RQ4 基于大语言模型的科学智能体中存在哪些关键故障模式，包括指令偏离与协作崩溃？
• RQ5 在复杂实验工作流中，多智能体架构与单智能体设计在可靠性与任务完成度方面有何差异？

主要发现

• 尽管在材料领域问答基准测试中表现优异，Claude 3.5 Sonnet在智能体驱动的AFM工作流中表现显著欠佳，表明问答能力与实际智能体能力之间存在脱节。
• 最先进大语言模型表现出高度的提示脆弱性，提示结构的微小变化即导致性能大幅下降，尤其在复杂协调任务中更为明显。
• 多智能体框架在任务完成度与鲁棒性方面优于单智能体架构，凸显了模块化、协同式智能体设计的重要性。
• 大语言模型频繁偏离指令，对科学实验室中的安全与对齐问题构成严重关切。
• AILA框架成功实现了AFM高级任务的自动化，包括校准、特征检测、机械性能测量、石墨烯层数计数以及压头检测。
• AFMBench揭示了当前大语言模型能力的显著差距，强调了在真实世界部署前进行严格基准测试与提示工程的必要性。