[論文レビュー] LLM4Mat-Bench: Benchmarking Large Language Models for Materials Property Prediction

Andre Niyongabo Rubungo, Kangming Li+2 more|arXiv (Cornell University)|Oct 31, 2024

Machine Learning in Materials Science被引用数 6

ひとこと要約

LLM4Mat-Bench は、組成、CIF、またはテキスト記述を用いて結晶材料の性質をどれだけ正確に予測できるかを評価する大規模ベンチマークであり、材料の性質予測において汎用の LLM よりタスク特化型モデルが優れていることを示している。

ABSTRACT

Large language models (LLMs) are increasingly being used in materials science. However, little attention has been given to benchmarking and standardized evaluation for LLM-based materials property prediction, which hinders progress. We present LLM4Mat-Bench, the largest benchmark to date for evaluating the performance of LLMs in predicting the properties of crystalline materials. LLM4Mat-Bench contains about 1.9M crystal structures in total, collected from 10 publicly available materials data sources, and 45 distinct properties. LLM4Mat-Bench features different input modalities: crystal composition, CIF, and crystal text description, with 4.7M, 615.5M, and 3.1B tokens in total for each modality, respectively. We use LLM4Mat-Bench to fine-tune models with different sizes, including LLM-Prop and MatBERT, and provide zero-shot and few-shot prompts to evaluate the property prediction capabilities of LLM-chat-like models, including Llama, Gemma, and Mistral. The results highlight the challenges of general-purpose LLMs in materials science and the need for task-specific predictive models and task-specific instruction-tuned LLMs in materials property prediction.

研究の動機と目的

• 材料の性質予測において LLM を評価するための標準化されたベンチマークの必要性を動機づける。
• 複数のデータソース、モダリティ、性質を含む、包括的で多様なベンチマーク（LLM4Mat-Bench）を作成する。
• タスク特化型予測モデルから汎用的な LLM まで幅広いモデルを評価し、強みと限界を特定する。

提案手法

• 10 のデータソースから約1.9M の結晶構造を収集し、重複を除去した後、1,978,985 個の composition–structure–description ペアに整理する。
• Robocrystallographer を用いて結晶構造の記述を決定論的に生成し、データ汚染のないテキストベースの入力モダリティを作成する。
• 三つの材料表現（Composition, CIF, Description）を、LLM-Prop、MatBERT、Llama、Gemma、Mistral、CGCNN をベースラインとして含む複数のモデルファミリーに渡って評価する。
• 小型でタスク特化型のモデル（LLM-Prop、MatBERT）をファインチューニングし、より大きなチャット系 LLM のゼロショットおよび少数ショットの prompting を用いて比較する。
• 再現性のある比較を可能にするため、固定の train/validation/test 分割と標準指標（MAD:MAE、回帰、AUC、分類）を使用する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータソースと入力モダリティを横断して、LLMs を材料特性予測に効果的に活用できるか？
• RQ2 タスク特化型の小型 LLM が材料特性予測において、汎用の対話型 LLM を上回るか？
• RQ3 どの入力表現（Composition, CIF, Description）が LLM ベースのモデルにとって最も予測性能が高いか？
• RQ4 この領域におけるチャット型 LLM のプロンプトを用いたゼロショットおよび少数ショット評価は、ファインチューニングされた予測モデルとどのように比較されるか？

主な発見

• タスク特化型で小型の予測型 LLM（LLM-Prop および MatBERT）は、回帰および分類タスクのいずれにおいても汎用の対話型 LLM を上回る。
• Description ベースの入力は、一般に CIF や Composition の入力より LLM ベースの性質予測子の性能を向上させる。
• より高度で大規模な生成型 LLM は改善効果が限定的で、材料特性に対して無効な出力や幻覚を生じることが多い。
• エネルギー系性質は、データセット全体で他の性質タイプよりもより正確に予測される。
• MP データでのファインチューニングは効果的である場合があるが、データセットや性質によって利得は異なる；汎用 LLM は卓越するためにタスク特化のチューニングを必要とする。