[论文解读] LLMatDesign: Autonomous Materials Discovery with Large Language Models

Shuyi Jia, Chao Zhang+1 more|arXiv (Cornell University)|Jun 19, 2024

Machine Learning in Materials Science被引用 13

一句话总结

LLMatDesign 使用 GPT-4o 和 Gemini-1.0-pro 作为自治的 LLM 驱动代理，在零样本、具历史感知的循环中提出、修改并评估材料设计以实现目标性质，同时具备自我反思和 ML 代理模型。

ABSTRACT

Discovering new materials can have significant scientific and technological implications but remains a challenging problem today due to the enormity of the chemical space. Recent advances in machine learning have enabled data-driven methods to rapidly screen or generate promising materials, but these methods still depend heavily on very large quantities of training data and often lack the flexibility and chemical understanding often desired in materials discovery. We introduce LLMatDesign, a novel language-based framework for interpretable materials design powered by large language models (LLMs). LLMatDesign utilizes LLM agents to translate human instructions, apply modifications to materials, and evaluate outcomes using provided tools. By incorporating self-reflection on its previous decisions, LLMatDesign adapts rapidly to new tasks and conditions in a zero-shot manner. A systematic evaluation of LLMatDesign on several materials design tasks, in silico, validates LLMatDesign's effectiveness in developing new materials with user-defined target properties in the small data regime. Our framework demonstrates the remarkable potential of autonomous LLM-guided materials discovery in the computational setting and towards self-driving laboratories in the future.

研究动机与目标

• 在庞大的化学空间与有限数据条件下，激发数据高效的材料设计的需求。
• 开发可解释的自治设计框架，使用 LLMs 提出、修改和评估材料。
• 通过提示驱动控制实现对不同目标性质和约束的快速适应。

提出的方法

• 使用 LLM 代理将用户指令翻译为 Materials Project API 调用和设计修改。
• 将修改表示为材料中元素的置换、替换、移除或添加，随后进行基于 ML 的松弛与性质预测。
• 纳入自我反思循环，使 LLM 对以往决定进行推理并将其反馈到提示中以指导后续步骤。
• 采用 MLFFs（TorchMD-Net）进行结构松弛，使用 MLPPs 进行带隙与形成能预测，作为 DFT 的代理。
• 可选地使用 MPRelaxSet 设置，利用 DFT（VASP）对最终设计进行验证。
• 在带隙目标（1.4 eV）和形成能最小化方面，比较 GPT-4o 与 Gemini-1.0-pro 的实验，包含有历史 vs 无历史的变体以及自我反思的消融。
• 展示提示 refinement（提示优化）和包含修改历史能提高收敛性和材料质量。

实验结果

研究问题

• RQ1 一个由 LLM 驱动的自治代理是否能够在有限的修改预算内找到达到指定带隙或最低形成能的材料？
• RQ2 与无历史提示相比，包含修改历史和自我反思是否能提升收敛速度和设计质量？
• RQ3 在零样本条件下，不同 LLM（GPT-4o 与 Gemini-1.0-pro）在化学基础的设计任务中的表现如何？
• RQ4 提示优化和约束处理在多大程度上能提升合规、化学可行的材料设计？
• RQ5 用偶发的 DFT 验证替代代理 ML 模型对最终材料质量有何影响？

主要发现

• 带历史的 GPT-4o 中 10.8 次修改后，在 10 个起始材料上平均达到目标带隙（1.4 eV），优于基线。
• 带历史的 GPT-4o 一直产生较低的平均形成能（大约 -2.0 到 -2.3 eV/原子）且 DFT 作业完成率高于随机基线。
• 包含修改历史能加速 GPT-4o 和 Gemini-1.0-pro 的收敛，且无历史的变体需要更多步骤才能达到目标。
• 自我反思显著提高设计效率，与无自我反思的运行相比，所需平均修改次数下降。
• 提示 refinements（GPT-4o Refined、Persona）进一步提升效率，GPT-4o Refined 在带隙任务中平均需要 8.69 次修改。
• LLMatDesign 遵循约束（例如不允许 Ba/Ca、Sr 不可修改、最多 4 种不同元素），在测试案例中几乎完全符合。
• LLMatDesign 展示了化学上合理的元素选择模式，避免纯随机探索，表明通过 LLM 推理整合了领域知识。