[論文レビュー] Foundational Large Language Models for Materials Research

Vaibhav Mishra, Sourabh Singh+8 more|arXiv (Cornell University)|Dec 12, 2024

Machine Learning in Materials Science被引用数 13

ひとこと要約

LLaMat は材料科学向けのドメイン適応型言語モデルファミリーで、継続的事前学習と指示/タスク微調整を用いてMatSciタスクで汎用の大規模言語モデルを上回る。NLP と結晶構造生成のための2つのバリアント（LLaMat-Chat と LLaMat-CIF）を持ち、観察された適応の硬直性は過学習モデルの限界を浮き彫りにする。

ABSTRACT

Materials discovery and development are critical for addressing global challenges. Yet, the exponential growth in materials science literature comprising vast amounts of textual data has created significant bottlenecks in knowledge extraction, synthesis, and scientific reasoning. Large Language Models (LLMs) offer unprecedented opportunities to accelerate materials research through automated analysis and prediction. Still, their effective deployment requires domain-specific adaptation for understanding and solving domain-relevant tasks. Here, we present LLaMat, a family of foundational models for materials science developed through continued pretraining of LLaMA models on an extensive corpus of materials literature and crystallographic data. Through systematic evaluation, we demonstrate that LLaMat excels in materials-specific NLP and structured information extraction while maintaining general linguistic capabilities. The specialized LLaMat-CIF variant demonstrates unprecedented capabilities in crystal structure generation, predicting stable crystals with high coverage across the periodic table. Intriguingly, despite LLaMA-3's superior performance in comparison to LLaMA-2, we observe that LLaMat-2 demonstrates unexpectedly enhanced domain-specific performance across diverse materials science tasks, including structured information extraction from text and tables, more particularly in crystal structure generation, a potential adaptation rigidity in overtrained LLMs. Altogether, the present work demonstrates the effectiveness of domain adaptation towards developing practically deployable LLM copilots for materials research. Beyond materials science, our findings reveal important considerations for domain adaptation of LLMs, such as model selection, training methodology, and domain-specific performance, which may influence the development of specialized scientific AI systems.

研究の動機と目的

• 膨大な材料文献の探索におけるボトルネックを解消するため、ドメイン適応型の基盤LLMsを開発する。
• 材料テキスト処理と結晶構造生成のための LLaMat のバリアントを作成する。
• MatSci NLP、SIE、結晶生成タスク全般で LLaMat を商用 LLMs と比較評価する。
• 事前学習と微調整戦略が、ドメイン特化の性能と一般的な言語能力にどのように影響するかを分析する。

提案手法

• 3段階の開発: English スキルを維持するため、材料を中心としたコーパス（R2CID）に対する継続的な事前学習と、英語スキルを保持するための 3% RedPajama サブセット。
• 2つの指示微調整経路により、LLaMat-Chat（一般的および MatSci 専用タスクと下流のQA能力を備える）と LLaMat-CIF（結晶学ファイルに焦点を当てたタスク）を生み出す。
• パラメータ効率の高い微調整（PEFT）により、LLaMat-CIF を用いて CIF データから結晶生成を実現。
• MatSci NLP、MatSIE、結晶生成ベンチマーク全体で、クローズドソース LLM との比較を行う体系的評価。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応型の事前学習と指示微調整は、MatSci の自然言語処理と情報抽出をどのように改善できるか？
• RQ2 ドメイン適応型 LLM は CIF データから有効で安定した結晶構造を生成できるか、既存手法とどう比較されるか？
• RQ3 MatSci タスクにおけるモデルサイズ、事前学習データ規模、ドメイン適応の有効性のトレードオフは何か？
• RQ4 過学習（適応の硬直性）は、材料応用において LLaMA-3 のような大規模ベースモデルのドメイン適応性を、LLaMA-2 と比較して制限するか？

主な発見

• LLaMat-Chat のバリアントは MatSci NLP および SIE タスクで base LLaMA およびクローズドソースモデルを上回る。
• LLaMat-2-CIF は結晶生成において高い組成妥当性（0.995）と安定性（生成構造のうち 49.49% が安定）を達成し、カバレッジも高い（0.986 recall、0.996 precision）。
• LLaMat-3-CIF はより複雑な構造を生成するが、構造妥当性と効率が低く、高度に事前学習されたモデルの適応硬直性を示している。
• タスク全体で、ドメイン適応型 LLaMat モデルは MatSci 関連の分析で一貫して商用 LLM（GPT、Claude、Gemini）を凌駕する。
• 適応硬直性は、より小型でターゲットを絞ったドメイン適応モデル（LLaMat-2）が、多くの MatSci タスクでより大きな後継モデル（LLaMat-3）を上回る可能性を示唆する。