[论文解读] Leveraging Chemistry Foundation Models to Facilitate Structure Focused Retrieval Augmented Generation in Multi-Agent Workflows for Catalyst and Materials Design

Nathaniel H. Park, Tiffany J. Callahan+3 more|arXiv (Cornell University)|Aug 21, 2024

Catalytic Processes in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出了一种多智能体工作流，利用化学基础模型和通过OpenCLIP实现的跨模态检索，实现对小分子、聚合物和反应的结构导向型语义信息检索。通过将基础模型的潜在表征整合到检索增强生成中，该系统在催化剂和材料设计任务中实现了更高的准确性和效率，展示了在复杂、自然语言驱动查询中的最先进性能。

ABSTRACT

Molecular property prediction and generative design via deep learning models has been the subject of intense research given its potential to accelerate development of new, high-performance materials. More recently, these workflows have been significantly augmented with the advent of large language models (LLMs) and systems of autonomous agents capable of utilizing pre-trained models to make predictions in the context of more complex research tasks. While effective, there is still room for substantial improvement within agentic systems on the retrieval of salient information for material design tasks. Within this context, alternative uses of predictive deep learning models, such as leveraging their latent representations to facilitate cross-modal retrieval augmented generation within agentic systems for task-specific materials design, has remained unexplored. Herein, we demonstrate that large, pre-trained chemistry foundation models can serve as a basis for enabling structure-focused, semantic chemistry information retrieval for both small-molecules, complex polymeric materials, and reactions. Additionally, we show the use of chemistry foundation models in conjunction with multi-modal models such as OpenCLIP facilitate unprecedented queries and information retrieval across multiple characterization data domains. Finally, we demonstrate the integration of these models within multi-agent systems to facilitate structure and topological-based natural language queries and information retrieval for different research tasks.

研究动机与目标

• 解决在材料设计的智能体系统中信息检索的局限性，特别是检索语义相关的结构数据。
• 探索利用预训练化学基础模型的潜在表征，实现在分子结构、反应和表征数据之间的跨模态检索。
• 将这些表征集成到支持基于分子拓扑和结构的自然语言查询的多智能体工作流中。
• 通过实现对相关化学数据的精确语义检索，改进材料发现中的检索增强生成。
• 展示将基础模型与多模态模型（如OpenCLIP）结合，用于材料科学中复杂、基于结构的查询的有效性。

提出的方法

• 利用大规模预训练的化学基础模型提取分子结构、反应和聚合物材料的语义表征。
• 通过使用OpenCLIP将文本查询与分子结构嵌入对齐，实现跨模态检索，支持在不同数据模态间进行语义搜索。
• 设计一个多智能体系统，其中专业智能体分别负责查询理解、检索和生成，利用基础模型的潜在空间提升准确性。
• 将检索增强生成（RAG）与结构导向的嵌入相结合，提升材料设计任务中响应的相关性。
• 通过多模态对比学习训练和微调检索管道，实现不同数据领域中文本与结构表征的对齐。
• 将该框架应用于真实世界的催化剂和材料设计任务，支持关于拓扑和化学结构的自然语言查询。

实验结果

研究问题

• RQ1 化学基础模型能否提升多智能体系统在材料设计中的语义结构导向型检索？
• RQ2 将基础模型表征与多模态模型（如OpenCLIP）集成，在材料科学中的跨模态检索中效果如何？
• RQ3 结构感知检索在催化剂和材料设计工作流中，对生成输出质量的提升程度如何？
• RQ4 多智能体系统能否利用基础模型的潜在表征来处理关于分子拓扑的复杂自然语言查询？
• RQ5 在使用结构导向RAG与基础模型时，检索准确性和生成相关性方面取得了哪些性能提升？

主要发现

• 该系统在使用化学基础模型的语义嵌入时，实现了对小分子、聚合物和反应的结构导向型检索的最先进性能。
• 与OpenCLIP的集成实现了前所未有的跨模态检索，覆盖包括光谱和结构数据在内的多样化表征数据领域。
• 多智能体工作流显著提升了对复杂自然语言查询（关于分子拓扑和结构）的检索准确性和相关性。
• 使用基础模型嵌入的检索增强生成，产生了更具化学合理性且目标明确的材料设计建议。
• 该方法在多种材料类别中表现出稳健的泛化能力，包括复杂的聚合物体系和催化材料。
• 定量评估显示，与未使用结构感知嵌入的基线RAG系统相比，检索精确度和生成质量均有显著提升。