[논문 리뷰] LLMatDesign: Autonomous Materials Discovery with Large Language Models

Shuyi Jia, Chao Zhang외 1명|arXiv (Cornell University)|2024. 06. 19.

Machine Learning in Materials Science인용 수 13

한 줄 요약

LLMatDesign은 GPT-4o와 Gemini-1.0-pro를 자율 LLM 기반 에이전트로 활용하여, 0샷, 히스토리 인식 루프에서 자기 성찰 및 ML 대리변수를 활용해 목표 특성에 부합하는 소재 설계를 제안하고 수정하며 평가한다.

ABSTRACT

Discovering new materials can have significant scientific and technological implications but remains a challenging problem today due to the enormity of the chemical space. Recent advances in machine learning have enabled data-driven methods to rapidly screen or generate promising materials, but these methods still depend heavily on very large quantities of training data and often lack the flexibility and chemical understanding often desired in materials discovery. We introduce LLMatDesign, a novel language-based framework for interpretable materials design powered by large language models (LLMs). LLMatDesign utilizes LLM agents to translate human instructions, apply modifications to materials, and evaluate outcomes using provided tools. By incorporating self-reflection on its previous decisions, LLMatDesign adapts rapidly to new tasks and conditions in a zero-shot manner. A systematic evaluation of LLMatDesign on several materials design tasks, in silico, validates LLMatDesign's effectiveness in developing new materials with user-defined target properties in the small data regime. Our framework demonstrates the remarkable potential of autonomous LLM-guided materials discovery in the computational setting and towards self-driving laboratories in the future.

연구 동기 및 목표

• 방대한 화학 공간과 제한된 데이터 환경에서 데이터 효율적인 재료 설계의 필요성을 제시한다.
• LLMs를 사용하여 재료를 제안하고 수정하며 평가하는 해석 가능한 자율 설계 프레임워크를 개발한다.
• 프롬프트 기반 제어를 통해 다양한 목표 특성과 제약 조건에 신속하게 적응할 수 있도록 한다.

제안 방법

• LLM 에이전트를 사용하여 사용자의 지시를 Materials Project API 호출과 설계 수정으로 번역한다.
• 수정은 물질의 원소 교환, 대체, 제거 또는 추가로 표현하고, 이후 ML 기반 이완 및 특성 예측을 수행한다.
• LLM이 과거 결정에 대해 추론하고 이를 프롬프트에 다시 반영하여 차기 단계들을 안내하는 자기 성찰 루프를 포함한다.
• 구조 이완은 MLFFs(TorchMD-Net), 밴드 간격 및 형성 에너지 예측은 MLPPs를 사용하여 DFT의 대리변수로 삼는다.
• 선택적으로 MPRelaxSet 설정을 사용하여 DFT(VASP)로 최종 설계를 검증한다.
• 밴드 갭 목표(1.4 eV) 및 형성 에너지 최소화를 대상으로 GPT-4o와 Gemini-1.0-pro를 사용한 실험을 수행하고, 히스토리 대 히스토리리스 변형 및 자기 성찰 제거를 비교한다.
• 프롬프트 정교화와 수정 이력의 포함이 수렴 속도와 재료 품질을 개선함을 보인다.

실험 결과

연구 질문

• RQ1 지정된 밴드 갭 또는 최소 형성 에너지를 달성하는 재료를 한정된 수정 예산 내에서 LLM 주도 자율 에이전트가 찾을 수 있는가?
• RQ2 수정 이력과 자기 성찰을 포함하는 것이 히스토리 없는 프롬프트에 비해 수렴 속도와 설계 품질을 개선하는가?
• RQ3 제로샷 조건에서 서로 다른 LLM(GPT-4o vs Gemini-1.0-pro)이 화학 기반 설계 작업에서 어떤 차이를 보이는가?
• RQ4 프롬프트 최적화와 제약 처리로 합치 가능하고 화학적으로 타당한 재료 설계가 얼마나 개선될 수 있는가?
• RQ5 대리 ML 모델을 가끔의 DFT 검증으로 대체할 때 최종 재료 품질에 어떤 영향이 있는가?

주요 결과

• GPT-4o with history achieves the target band gap (1.4 eV) on average after 10.8 modifications across 10 starting materials, outperforming baselines.
• GPT-4o with history consistently yields lower average formation energies (around -2.0 to -2.3 eV/atom) and higher DFT job completion rates than random baselines.
• Including modification history accelerates convergence for both GPT-4o and Gemini-1.0-pro, with historyless variants requiring more steps to reach targets.
• Self-reflection substantially improves design efficiency, reducing average required modifications compared to runs without self-reflection.
• Prompt refinements (GPT-4o Refined, Persona) further improve efficiency, with GPT-4o Refined achieving an average of 8.69 modifications for band gap tasks.
• LLMatDesign adheres to constraints (e.g., no Ba/Ca, no modification of Sr, and limit of 4 distinct elements) with near-perfect compliance in tested cases.
• LLMatDesign demonstrates chemically reasonable element selection patterns and avoids purely random exploration, indicating integration of domain knowledge via LLM reasoning.