[论文解读] ChemCrow: Augmenting large-language models with chemistry tools

Andres M Bran, Sam Cox+4 more|arXiv (Cornell University)|Apr 11, 2023

Machine Learning in Materials Science被引用 131

一句话总结

ChemCrow 使用 18 种化学工具增强 LLM 的能力，能够自主规划并执行合成，以及支持发现任务，提升化学推理能力，超越普通 LLM。

ABSTRACT

Over the last decades, excellent computational chemistry tools have been developed. Integrating them into a single platform with enhanced accessibility could help reaching their full potential by overcoming steep learning curves. Recently, large-language models (LLMs) have shown strong performance in tasks across domains, but struggle with chemistry-related problems. Moreover, these models lack access to external knowledge sources, limiting their usefulness in scientific applications. In this study, we introduce ChemCrow, an LLM chemistry agent designed to accomplish tasks across organic synthesis, drug discovery, and materials design. By integrating 18 expert-designed tools, ChemCrow augments the LLM performance in chemistry, and new capabilities emerge. Our agent autonomously planned and executed the syntheses of an insect repellent, three organocatalysts, and guided the discovery of a novel chromophore. Our evaluation, including both LLM and expert assessments, demonstrates ChemCrow's effectiveness in automating a diverse set of chemical tasks. Surprisingly, we find that GPT-4 as an evaluator cannot distinguish between clearly wrong GPT-4 completions and Chemcrow's performance. Our work not only aids expert chemists and lowers barriers for non-experts, but also fosters scientific advancement by bridging the gap between experimental and computational chemistry.

研究动机与目标

• 将领域特定工具与 LLM 结合以克服化学推理的局限性，提供动机。
• 展示在 LLM-代理框架中对化学合成的自主规划与执行。
• 展示人机协作在发现任务中的应用，如发色团设计。
• 以专家化学家评估为对照，评估 ChemCrow 相对于纯 LLM（GPT-4）。
• 说明 LLM 驱动化学中的安全和风险缓解策略。

提出的方法

• 用描述的工具集对 LLM（GPT-4）进行提示，并在输入循环中显式 Thought–Action（如 ReAct/MRKL）以决定工具使用和输入。
• 通过 LangChain 集成 18 种领域特定的化学工具（网页/文献检索、分子/反应工具、安全检查等）。
• 在云连接平台（如 IBM RoboRXN）上实现自主执行以进行合成与验证。
• 使用迭代的工具查询和观察来在任务完成前持续改进行动。
• 使用专家化学家和评估者 LLM（EvaluatorGPT）以及 GPT-4 基线对性能进行评估。
• 突出安全准则和风险缓解策略，以防止不安全的推荐。

实验结果

研究问题

• RQ1 一个以 LLM 为驱动的化学代理是否能够在实验室环境中自主规划并执行多步合成？
• RQ2 将领域特定工具整合是否相较于无工具的 LLM 提高化学事实性、推理质量和任务完成度？
• RQ3 ChemCrow 在发现任务（如新颖发色团设计）中的表现如何，涉及人机协作？
• RQ4 随 LLM 驱动的化学出现哪些安全、伦理和知识产权方面的考虑，以及如何缓解？

主要发现

• ChemCrow 已自主在 RoboRXN 平台上规划并执行 DEET（驱虫剂）的合成以及三个硫脲有机催化剂的合成。
• 通过人机协作发现了吸收最大值接近 336 nm 的新颖发色团，并随后进行了合成和表征。
• ChemCrow 在化学事实性、推理和完整性等方面超过了 tool-less 的 GPT-4，在越来越复杂的任务上，得到专家化学家的评价。
• 单独使用的 GPT-4 在记忆友好任务（如已知分子如 paracetamol）和流畅的表达方面表现出优势，但在新颖化学推理方面存在困难。
• 用于引导发色团筛选的随机森林模型在吸收预测中的均方根误差为 37 nm。
• 该研究强调在 LLM 驱动的化学引擎中需要健全的评估方法、工具质量以及安全/知识产权方面的考虑。