[论文解读] CACTUS: Chemistry Agent Connecting Tool-Usage to Science

Andrew McNaughton, Gautham Krishna Sankar Ramalaxmi+4 more|arXiv (Cornell University)|May 2, 2024

Various Chemistry Research Topics被引用 5

一句话总结

CACTUS 是一个开源的基于 LLM 的代理，集成化学信息学工具以实现领域特定的推理和分子发现，在化学问题基准测试中对比基线模型显示出更高的准确性。

ABSTRACT

Large language models (LLMs) have shown remarkable potential in various domains, but they often lack the ability to access and reason over domain-specific knowledge and tools. In this paper, we introduced CACTUS (Chemistry Agent Connecting Tool-Usage to Science), an LLM-based agent that integrates cheminformatics tools to enable advanced reasoning and problem-solving in chemistry and molecular discovery. We evaluate the performance of CACTUS using a diverse set of open-source LLMs, including Gemma-7b, Falcon-7b, MPT-7b, Llama2-7b, and Mistral-7b, on a benchmark of thousands of chemistry questions. Our results demonstrate that CACTUS significantly outperforms baseline LLMs, with the Gemma-7b and Mistral-7b models achieving the highest accuracy regardless of the prompting strategy used. Moreover, we explore the impact of domain-specific prompting and hardware configurations on model performance, highlighting the importance of prompt engineering and the potential for deploying smaller models on consumer-grade hardware without significant loss in accuracy. By combining the cognitive capabilities of open-source LLMs with domain-specific tools, CACTUS can assist researchers in tasks such as molecular property prediction, similarity searching, and drug-likeness assessment. Furthermore, CACTUS represents a significant milestone in the field of cheminformatics, offering an adaptable tool for researchers engaged in chemistry and molecular discovery. By integrating the strengths of open-source LLMs with domain-specific tools, CACTUS has the potential to accelerate scientific advancement and unlock new frontiers in the exploration of novel, effective, and safe therapeutic candidates, catalysts, and materials. Moreover, CACTUS's ability to integrate with automated experimentation platforms and make data-driven decisions in real time opens up new possibilities for autonomous discovery.

研究动机与目标

• 推动将领域特定工具与 LLM 结合，以提升化学推理和分子发现。
• 开发一个可扩展的代理，能够为化学问题选择并排序化学信息学工具。
• 评估带有领域特定提示和硬件变体的开源 7B 模型的性能。
• 展示在消费级硬件上运行有效模型的潜力，以实现更广泛的使用。
• 概述将物理基础模型整合及提升可解释性的未来方向。

提出的方法

• 使用 LangChain 在 ReAct 框架中实现带工具、LLMChain 的 MRKL 风格代理以及零-shot 代理。
• 将 RDKit、SciPy 以及数据库 (PubChem, ChEMBL, ZINC) 封装为基于 SMILES 的分析的领域专用工具。
• 定义提示模板：Minimal 与 Domain Prompt，以评估对领域理解和准确性的影响。
• 在 10 种工具上对 1000 个化学信息学问题进行基准测试，覆盖定性、定量和完整集。
• 在 GPU（A100、V100、RTX 2080 Ti）上评估多种 7B 开源模型（Gemma-7b、Falcon-7b、MPT-7b、Llama2-7b、Mistral-7b、Phi2、OLMo-1b）。
• 研究硬件、提示策略和模型性能，以识别部署权衡。

实验结果

研究问题

• RQ1 一个基于 LLM 的代理如何最优化地选择和组合化学信息学工具以回答化学问题？
• RQ2 领域特定提示对化学信息学任务中开源 7B 模型的准确性和速度有何影响？
• RQ3 在消费级硬件上更小的模型是否能够在分子性质预测任务中达到有竞争力的准确性？
• RQ4 在化学工作流中部署带工具的 LLM 的实际挑战及解决方案是什么？
• RQ5 将先进的物理基础和符号推理组件整合进 CACTUS 以实现自主发现的前景如何？

主要发现

• CACTUS 在跨越 10 种工具的 1000 题化学信息学基准测试中优于基线 LLM。
• Gemma-7b 和 Mistral-7b 在任何提示策略下都达到最高准确性。
• 领域提示在定性问题的准确性上比最小提示提升更明显，对模型的影响因模型而异。
• 如 Phi2 和 OLMo-1b 这类较小的模型在消费级硬件上结合领域提示也能发挥有效作用。
• 领域提示通常使多些模型实现更快推理和更高准确性，尽管存在一些例外。
• 开源模型在配合优化部署（如 vLLM）和定制提示时，在消费级硬件上也能实现合理的性能。