[论文解读] A Review of Large Language Models and Autonomous Agents in Chemistry

Mayk Caldas Ramos, Christopher J. Collison+1 more|arXiv (Cornell University)|Jun 26, 2024

Machine Learning in Materials Science被引用 12

一句话总结

本文综述了大型语言模型（LLMs）和基于LLM的自治代理如何塑造化学领域，涵盖架构、化学应用、数据集、基准、挑战以及未来方向。

ABSTRACT

Large language models (LLMs) have emerged as powerful tools in chemistry, significantly impacting molecule design, property prediction, and synthesis optimization. This review highlights LLM capabilities in these domains and their potential to accelerate scientific discovery through automation. We also review LLM-based autonomous agents: LLMs with a broader set of tools to interact with their surrounding environment. These agents perform diverse tasks such as paper scraping, interfacing with automated laboratories, and synthesis planning. As agents are an emerging topic, we extend the scope of our review of agents beyond chemistry and discuss across any scientific domains. This review covers the recent history, current capabilities, and design of LLMs and autonomous agents, addressing specific challenges, opportunities, and future directions in chemistry. Key challenges include data quality and integration, model interpretability, and the need for standard benchmarks, while future directions point towards more sophisticated multi-modal agents and enhanced collaboration between agents and experimental methods. Due to the quick pace of this field, a repository has been built to keep track of the latest studies: https://github.com/ur-whitelab/LLMs-in-science.

研究动机与目标

• 评估 LLM 如何使化学中的性质预测、逆向设计和合成规划成为可能。
• 比较编码器-仅编码、解码器-仅解码和编码器-解码器型 LLM 架构在化学任务中的表现。
• 讨论基于 LLM 的自治代理及其在文献综述、实验和数据自动化中的作用。
• 识别数据质量、基准、可解释性和整合方面的挑战并提出方向。

提出的方法

• 提供变换器的历史背景，并将架构映射到化学任务。
• 回顾与化学 LLMs 相关的分子表示、数据集和基准。
• 分析 LLM 的类型（编码器-仅、解码器-仅、编码器-解码器）在性质预测、合成和多模态任务中的表现。
• 讨论训练流程和对齐方法（预训练、监督微调、RLHF、DPO）。
• 调查自治代理的设计（记忆、规划、感知、工具）及其在化学中的应用。
• 综合多模态代理和代理-实验方法协作的未来方向。

Figure 1: a) The generalized encoder-decoder transformer: The encoder on the left converts an input into a vector, while the decoder on the right predicts the next token in a sequence. b) Encoder-decoder transformers are traditionally used for translation tasks and, in chemistry, for reaction predic

实验结果

研究问题

• RQ1 在化学领域，LLMs 在性质预测、逆向设计和合成方面目前具备哪些能力？
• RQ2 不同的变换器架构在化学特定任务上的表现如何？
• RQ3 哪种数据质量、基准和分子表示最有利于化学 LLMs？
• RQ4 在化学领域，基于 LLM 的自治代理面临的主要挑战与机遇是什么？
• RQ5 在多模态与协作型代理方面的哪些未来发展能够推进实验化学？

主要发现

• 通过利用诸如 SMILES 和 InChI 的化学语言表示，LLMs 能实现性质预测、分子设计和合成规划。
• 编码器-仅模型（如基于 BERT）在性质预测和反应分类方面表现卓越，而解码器-仅模型能够进行新分子生成，编码器-解码器混合模型支持灵活的任务。
• 多模态和文本到文本的方法（如 T5、指令微调）扩展了化学领域的任务范围和泛化能力。
• 具备记忆、规划、感知和工具接口的自治代理能够进行文献综述、实验规划和化学中的自动数据处理。
• 一个关键瓶颈是数据质量与 grounding；现有数据集（如 MoleculeNet）存在局限性，强调需要高质量、真实世界的有 grounding 数据和标准化基准。
• 未来方向指向更复杂的多模态代理，以及代理与实验室之间更紧密的耦合。

Figure 3: Number of training tokens (on log scale) available from various chemical sources compared with typical LLM training runs. The numbers are drawn from ZINC 176 , PubChem 177 , Touvron et al. 178 , ChEMBL 179 , and Kinney et al. 180