[論文レビュー] Regression with Large Language Models for Materials and Molecular Property Prediction

Ryan Jacobs, Maciej P. Polak+4 more|arXiv (Cornell University)|Sep 9, 2024

Machine Learning in Materials Science被引用数 8

ひとこと要約

本論文は、微調整された LLaMA 3 が組成ベースの入力だけで分子および材料特性の回帰を行えることを示し、QM9 と 28 の材料特性で従来モデルと競合する結果を達成する一方で、より粒度の高い分子表現を使用する最先端手法には一般的に遅れをとる。

ABSTRACT

We demonstrate the ability of large language models (LLMs) to perform material and molecular property regression tasks, a significant deviation from the conventional LLM use case. We benchmark the Large Language Model Meta AI (LLaMA) 3 on several molecular properties in the QM9 dataset and 24 materials properties. Only composition-based input strings are used as the model input and we fine tune on only the generative loss. We broadly find that LLaMA 3, when fine-tuned using the SMILES representation of molecules, provides useful regression results which can rival standard materials property prediction models like random forest or fully connected neural networks on the QM9 dataset. Not surprisingly, LLaMA 3 errors are 5-10x higher than those of the state-of-the-art models that were trained using far more granular representation of molecules (e.g., atom types and their coordinates) for the same task. Interestingly, LLaMA 3 provides improved predictions compared to GPT-3.5 and GPT-4o. This work highlights the versatility of LLMs, suggesting that LLM-like generative models can potentially transcend their traditional applications to tackle complex physical phenomena, thus paving the way for future research and applications in chemistry, materials science and other scientific domains.

研究の動機と目的

• 大規模言語モデルが材料および分子特性回帰を実行する能力を示す。
• 組成ベースの入力を用いて QM9 および 28 の材料特性のセットに対して LLaMA 3 をベンチマークする。
• 化学・材料科学の回帰タスクにおける従来のモデルおよび既存の LLM と比較して LLaMA 3 の性能を評価する。

提案手法

• 生成損失のみで微調整した LLaMA 3 を、組成を表す文字列または分子の SMILES を入力として使用する。
• SMILES ベースの微調整を用いて QM9 分子特性の回帰性能を評価する。
• 組成ベースの記述子を用いて 28 の材料特性の回帰性能を評価する。
• LLaMA 3 の結果を、ランダムフォレスト、全結合ニューラルネットワーク、そして粒度の高い分子表現を用いる最先端モデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 組成ベースの入力を用いて、LLM を分子および材料特性の回帰タスクに再利用できるか。
• RQ2 QM9 の特性に対する LLaMA 3 の性能は、従来の回帰モデルと比べてどうか。
• RQ3 より広いセットの 28 の材料特性に対して、基準モデルと比較して LLaMA 3 の性能はどうか。
• RQ4 これらのタスクにおいて LLM ベースの回帰器は GPT-3.5 および GPT-4o より改善するか。

主な発見

• SMILES ベースの微調整を行った LLaMA 3 は、QM9 においてランダムフォレストや全結合ネットワークと同等の有用な回帰結果を提供する。
• LLaMA 3 の誤差は、同じタスクのためにより粒度の高い表現（例：原子種と座標）を使用する最先端モデルと比べて 5–10 倍高い。
• 28 の材料特性では、組成記述のみを使用した場合、ランダムフォレストと元素記述子に対して精度は同等だがわずかに劣る。
• LLaMA 3 は GPT-3.5 および GPT-4o と比べて予測精度が向上する。
• 本研究は、LLM 拡張風生成モデルが化学・材料科学の複雑な物理現象に取り組むことができることを示唆している。