[논문 리뷰] Regression with Large Language Models for Materials and Molecular Property Prediction

Ryan Jacobs, Maciej P. Polak외 4명|arXiv (Cornell University)|2024. 09. 09.

Machine Learning in Materials Science인용 수 8

한 줄 요약

본 논문은 미세 조정된 LLaMA 3가 구성 기반 입력만으로 분자 및 재료 특성에 대한 회귀를 수행할 수 있음을 보여주며, QM9 및 28개 재료 특성에 대해 전통적 모델과 경쟁력 있는 성능을 달성하나, 더 세분화된 분자 표현을 사용하는 최신 방법보다 일반적으로 뒤처진다는 점을 시사한다.

ABSTRACT

We demonstrate the ability of large language models (LLMs) to perform material and molecular property regression tasks, a significant deviation from the conventional LLM use case. We benchmark the Large Language Model Meta AI (LLaMA) 3 on several molecular properties in the QM9 dataset and 24 materials properties. Only composition-based input strings are used as the model input and we fine tune on only the generative loss. We broadly find that LLaMA 3, when fine-tuned using the SMILES representation of molecules, provides useful regression results which can rival standard materials property prediction models like random forest or fully connected neural networks on the QM9 dataset. Not surprisingly, LLaMA 3 errors are 5-10x higher than those of the state-of-the-art models that were trained using far more granular representation of molecules (e.g., atom types and their coordinates) for the same task. Interestingly, LLaMA 3 provides improved predictions compared to GPT-3.5 and GPT-4o. This work highlights the versatility of LLMs, suggesting that LLM-like generative models can potentially transcend their traditional applications to tackle complex physical phenomena, thus paving the way for future research and applications in chemistry, materials science and other scientific domains.

연구 동기 및 목표

• 대형 언어 모델이 재료 및 분자 특성 회귀를 수행할 수 있는 능력을 보여준다.
• 구성 기반 입력을 사용하여 QM9 및 28개 재료 특성 세트에 대해 LLaMA 3의 벤치마크를 수행한다.
• 화학 및 재료 과학의 회귀 작업에서 LLaMA 3가 전통적 모델 및 기존 LLM과 어떻게 비교되는지 평가한다.

제안 방법

• 구성 또는 분자의 SMILES를 나타내는 입력 문자열에 대해 생성 손실만으로 미세 조정된 LLaMA 3를 사용한다.
• SMILES 기반 미세 조정을 사용하여 QM9 분자 특성에 대한 회귀 성능을 평가한다.
• 구성 기반 기술자를 사용하여 28개 재료 특성의 회귀 성능을 평가한다.
• LLaMA 3의 결과를 랜덤 포레스트, 완전 연접 신경망 및 자세한 분자 표현을 사용하는 최신 모델과 비교한다.

실험 결과

연구 질문

• RQ1 구성 기반 입력을 사용하여 LLM을 분자 및 재료 특성 회귀 작업에 재목적화할 수 있는가?
• RQ2 QM9 특성에서 전통적 회귀 모델에 비해 LLaMA 3의 성능은 어떠한가?
• RQ3 기준 모델과 비교하여 28개의 재료 특성 확장 세트에서 LLaMA 3의 성능은 어떠한가?
• RQ4 이 작업들에서 LLM 기반 회귀기가 GPT-3.5 및 GPT-4o에 비해 향상되는가?

주요 결과

• SMILES 기반 미세 조정을 통한 LLaMA 3는 QM9에서 랜덤 포레스트나 완전 연결 신경망과 비교할 만한 유용한 회귀 결과를 제공한다.
• LLaMA 3의 오차는 동일한 작업에 대해 더 세분화된 표현(예: 원자 유형 및 좌표)을 사용하는 최신 모델에 비해 5–10배 더 높다.
• 28개 재료 특성에 대해 화합물 설명만을 사용할 때 랜덤 포레스트와 원소 설명자에 비해 정확도는 비슷하지만 약간 떨어진다.
• LLaMA 3는 GPT-3.5 및 GPT-4o에 비해 예측이 향상된다.
• 이 연구는 LLM과 같은 생성 모델이 화학 및 재료 과학의 복잡한 물리 현상에 도전할 수 있음을 시사한다.