[論文レビュー] LLMatDesign: Autonomous Materials Discovery with Large Language Models

Shuyi Jia, Chao Zhang+1 more|arXiv (Cornell University)|Jun 19, 2024

Machine Learning in Materials Science被引用数 13

ひとこと要約

LLMatDesign は GPT-4o と Gemini-1.0-pro を自律的な LLM 主導エージェントとして用い、自己反省と ML の代理モデルを備えたゼロショット、履歴認識ループの中で、目標特性を達成する材料設計を提案・修正・評価します。

ABSTRACT

Discovering new materials can have significant scientific and technological implications but remains a challenging problem today due to the enormity of the chemical space. Recent advances in machine learning have enabled data-driven methods to rapidly screen or generate promising materials, but these methods still depend heavily on very large quantities of training data and often lack the flexibility and chemical understanding often desired in materials discovery. We introduce LLMatDesign, a novel language-based framework for interpretable materials design powered by large language models (LLMs). LLMatDesign utilizes LLM agents to translate human instructions, apply modifications to materials, and evaluate outcomes using provided tools. By incorporating self-reflection on its previous decisions, LLMatDesign adapts rapidly to new tasks and conditions in a zero-shot manner. A systematic evaluation of LLMatDesign on several materials design tasks, in silico, validates LLMatDesign's effectiveness in developing new materials with user-defined target properties in the small data regime. Our framework demonstrates the remarkable potential of autonomous LLM-guided materials discovery in the computational setting and towards self-driving laboratories in the future.

研究の動機と目的

• Vastな化学空間と限られたデータ regime におけるデータ効率の高い材料設計の必要性を動機づける。
• LLMs を用いて材料を提案・修正・評価する interpretable な自律設計フレームワークを開発する。
• プロンプト主導の制御を通じて、異なるターゲット特性と制約への迅速な適応を可能にする。

提案手法

• ユーザー指示を Materials Project API 呼び出しおよび設計修正へと翻訳するために LLM エージェントを使用する。
• 修正を材料中の元素の置換・追加・削除として表現し、その後 ML ベースの緩和と性質予測を行う。
• 過去の意思決定について推論し、それをプロンプトにフィードバックして次のステップを導く自己反省ループを組み込む。
• 構造緩和には MLFFs（TorchMD-Net）、バンドギャップと形成エネルギー予測には MLPPs を DFT の代理として用いる。
• 最終設計の検証として MPRelaxSet 設定を用いた DFT（VASP）を任意で実施。
• バンドギャップ targeting（1.4 eV）と形成エネルギー最小化を通じて、履歴あり/なしのバリアントと自己反省の有無で実験する。
• プロンプト refinements および修正履歴の包含が収束と材料品質を改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 LLM 主導の自律エージェントは、修正予算が限られた場合に特定のバンドギャップを達成する材料や最低形成エネルギーを発見できるか。
• RQ2 修正履歴と自己反省を含めると、履歴なしのプロンプトと比較して収束速度と設計品質が改善されるか。
• RQ3 異なる LLM（GPT-4o 対 Gemini-1.0-pro）が、ゼロショット条件下の化学ベンチマーク設計タスクでどのように比較されるか。
• RQ4 プロンプト最適化と制約処理が適合的で化学的に妥当な材料設計をどの程度改善できるか。
• RQ5 代理MLモデルを時々の DFT 検証に置換することが最終的な材料品質に与える影響はどの程度か。

主な発見

• 履歴を用いた GPT-4o は、平均して 10.8 修正の後に目標バンドギャップ（1.4 eV）を達成し、10 件の開始材料でベースラインを上回った。
• 履歴を用いた GPT-4o は、履歴ありの場合は平均形成エネルギーがより低く（約 -2.0 〜 -2.3 eV/原子）DFT ジョブ完了率もランダムベースラインより高い。
• 修正履歴を含むことは、GPT-4o と Gemini-1.0-pro の両方で収束を加速し、履歴なしのバリアントより目標に達するまでの手数を減らす。
• 自己反省は設計効率を大幅に改善し、自己反省なしのランと比較して平均的な修正回数を削減する。
• プロンプト refinements（GPT-4o Refined, Persona）はさらに効率を改善し、GPT-4o Refined はバンドギャップ task で平均8.69回の修正を達成。
• LLMatDesign は制約（例：Ba/Ca 不可、Sr の修正不可、4 種類の元素の制限）を順守し、テストケースでほぼ完璧な適合を示す。
• LLMatDesign は化学的に合理的な元素選択パターンを示し、完全にランダム探索を避け、LLM の推論を通じたドメイン知識の統合を示す。