[論文レビュー] Fine-Tuned Language Models Generate Stable Inorganic Materials as Text

Nate Gruver, Anuroop Sriram+4 more|arXiv (Cornell University)|Feb 6, 2024

Modular Robots and Swarm Intelligence被引用数 34

ひとこと要約

微調整済みの大規模言語モデルは、機械学習ポテンシャルやDFT基準で有効かつ準安定な3D結晶構造をテキストとして生成でき、スケールでの準安定/安定収率においてCDVAEを上回る。

ABSTRACT

We propose fine-tuning large language models for generation of stable materials. While unorthodox, fine-tuning large language models on text-encoded atomistic data is simple to implement yet reliable, with around 90% of sampled structures obeying physical constraints on atom positions and charges. Using energy above hull calculations from both learned ML potentials and gold-standard DFT calculations, we show that our strongest model (fine-tuned LLaMA-2 70B) can generate materials predicted to be metastable at about twice the rate (49% vs 28%) of CDVAE, a competing diffusion model. Because of text prompting's inherent flexibility, our models can simultaneously be used for unconditional generation of stable material, infilling of partial structures and text-conditional generation. Finally, we show that language models' ability to capture key symmetries of crystal structures improves with model scale, suggesting that the biases of pretrained LLMs are surprisingly well-suited for atomistic data.

研究の動機と目的

• 微調整済み大規模言語モデルがテキストとしてエンコードされた有効な結晶構造を生成できることを示す。
• 生成材料の安定性を機械学習ポテンシャルおよびDFTリラクゼーションで評価する。
• 拡散モデルのベースラインと比較し、対称性学習とモデルスケール効果を分析する。
• 材料発見の設計ツールとして、テキスト条件付き生成とインフィリングを実演する。

提案手法

• 結晶を改行区切りの文字列としてエンコードし、マルチタスクカリキュラムと翻訳拡張を用いてベースLLM（LLaMA-2）を微調整する。
• 材料プロジェクトデータで低秩行列アダプタ（LoRA）と4ビット量子化を使用して訓練する。
• 無条件生成、テキスト条件付き生成、インフィリングを可能にするプロンプト設計。
• 翻訳不変性を促進するために訓練データをランダムな翻訳で拡張する。
• 構造/組成の妥当性、多様性、およびMLポテンシャル（M3GNet）とDFT（VASP）によるエネルギー凸性の推定でサンプルを評価する。
• 翻訳不変性の指標としてTransformationにおけるPerplexityの増加（IPT）を提案する。

実験結果

リサーチクエスチョン

• RQ1 微調整済みLLMはテキストとしてエンコードされた無機結晶構造を有効かつ準安定に生成できるか？
• RQ2 モデルスケールは結晶対称性の学習と安定材料の生成能力にどのように影響するか？
• RQ3 テキスト条件付き生成とインフィリングは、目的組成、空間群、安定性に対してどの程度有効か？
• RQ4 LLMと拡散ベースの結晶生成モデル（CDVAE）とを安定性、多様性、サンプル生成速度の点でどう比較されるか？

主な発見

Method	Validity Check (Structural)	Validity Check (Composition)	Coverage	Property Distribution	Metastable	Stable	M3GNet	DFT
CDVAE	1.00	0.867	0.991	0.995	0.688	1.43	28.8%	5.4%
LM-CH	0.848	0.835	0.9925	0.9789	0.864	0.13	n/a	n/a
LM-AC	0.958	0.889	0.996	0.9855	0.696	0.09	n/a	n/a
LLaMA-2 7B (τ=1.0)	0.918	0.879	0.969	0.960	3.85	0.96	35.1%	6.7%
LLaMA-2 7B (τ=0.7)	0.964	0.933	0.911	0.949	3.61	1.06	35.0%	6.2%
LLaMA-2 13B (τ=1.0)	0.933	0.900	0.946	0.988	2.20	0.05	33.4%	8.7%
LLaMA-2 13B (τ=0.7)	0.955	0.924	0.889	0.979	2.13	0.10	38.0%	14.4%
LLaMA-2 70B (τ=1.0)	0.965	0.863	0.968	0.983	1.72	0.55	35.4%	10.0%
LLaMA-2 70B (τ=0.7)	0.996	0.954	0.858	0.989	0.81	0.44	49.8%	10.6%

• 微調整済みのLLaMA-2モデルは、構造的および組成的側面の両方で高い妥当性を示す。
• τ=0.7のLLaMA-2 70Bは、表1の指標に基づく準安定サンプルが49.8%、安定サンプルが10.6%であり、CDVAEよりも準安定/安定の収率で優れている。
• より大きなモデルは翻訳不変性（IPT指標）と多様性/新規性のトレードオフをよりうまく学習する。
• テキスト条件付生成は、オラクルラベルを前提とすると、所望の組成と、場合によっては空間群および安定性を安定に生成する傾向を示す。
• 70Bモデルによるインフィリングは、多様性を犠牲にせず、準安定収率をより高く誘導する変異を導く。
• CDVAEと比較して、LLaMA-2モデルは生成が速く、しばしばサンプルの多様性も大きい。