[論文レビュー] Less can be more for predicting properties with large language models

Nawaf Alampara, Santiago Miret+1 more|arXiv (Cornell University)|Jun 25, 2024

Machine Learning in Materials Science被引用数 13

ひとこと要約

本論文は mattext というベンチマークとフレームワークを導入し、性質予測のためのテキストベースの材料表現を研究する。幾何情報の追加や事前学習のスケーリングが、LLM に基づく材料特性予測を必ずしも改善しないことを示す。 locality を強い誘導バイアスとして見つけ、結晶幾何を活用する現在のテキストのみのアプローチの限界を明らかにする。

ABSTRACT

Predicting properties from coordinate-category data -- sets of vectors paired with categorical information -- is fundamental to computational science. In materials science, this challenge manifests as predicting properties like formation energies or elastic moduli from crystal structures comprising atomic positions (vectors) and element types (categorical information). While large language models (LLMs) have increasingly been applied to such tasks, with researchers encoding structural data as text, optimal strategies for achieving reliable predictions remain elusive. Here, we report fundamental limitations in LLM's ability to learn from coordinate information in coordinate-category data. Through systematic experiments using synthetic datasets with tunable coordinate and category contributions, combined with a comprehensive benchmarking framework (MatText) spanning multiple representations and model scales, we find that LLMs consistently fail to capture coordinate information while excelling at category patterns. This geometric blindness persists regardless of model size (up to 70B parameters), dataset scale (up to 2M structures), or text representation strategy. Our findings suggest immediate practical implications: for materials property prediction tasks dominated by structural effects, specialized geometric architectures consistently outperform LLMs by significant margins, as evidenced by a clear "GNN-LM wall" in performance benchmarks. Based on our analysis, we provide concrete guidelines for architecture selection in scientific machine learning, while highlighting the critical importance of understanding model inductive biases when tackling scientific prediction problems.

研究の動機と目的

• 言語モデルの系統的なベンチマークを可能にするため、材料に対する標準化されたテキストベースの表現フレームワークの必要性を動機づける。
• 制御可能な誘導バイアスを備えた結晶構造をテキストへ変換する mattext 表現とソフトウェアスイートを開発する。
• 複数の表現を網羅する、包括的でスケーラブルなデータセットとベンチマークを作成し、LLMsによる材料特性予測を評価する。
• 異なる表現とデータ・モデルスケールが予測性能にどのように影響するかを分析し、局所性と幾何情報を強調する。
• 材料科学における現在のテキストベースのモデリング手法の限界を示す洞察を提供し、より良い表現とベンチマークの方向性を提案する。

提案手法

• 固体材料の9つのテキストベース表現を定義し、そのうち5つは新規であり、各表現が異なる誘導バイアスを埋め込む。
• NOMAD からの事前学習およびファインチューニングデータを整理し、MatBench の慣例に合わせて標準化スプリットを提供する（30k、100k、300k、2M；テストセット 20k）。
• 結晶構造をテキストへ翻訳するためのトークナイザ、デコーダ、ロバストネスユーティリティを備えた、オブジェクト指向フレームワークとして mattext を実装する。
• mattext 表現上でエンコーダ専用およびデコーダ専用のトランスフォーマーモデル（例：BERT、Llama-3）を事前学習・ファインチューニングして、性質予測タスクを行う。
• 表現、データ規模、アーキテクチャを横断してモデルを評価し、構成情報と幾何情報の依存度を評価する。
• 組成と幾何学からの寄与を分離するために、物理学にインスパアされた仮想ポテンシャルを用い、幾何情報に対するモデルの感度を検証する。

Figure 1: Overview of the \mattext framework. For \mattext , we compile pretraining and fine-tuning data and implement text representations of crystal structures with different inductive biases in a standardized, object-oriented framework. We use the data and text representations to build a property

実験結果

リサーチクエスチョン

• RQ1 結晶構造の異なるテキストベース表現は、言語モデルによる材料特性予測にどのような影響を与えるか？
• RQ2 テキスト表現を用いた場合、事前学習データの増加やモデルサイズの拡大は下流の材料特性予測を改善するか？
• RQ3 LLMs は、結晶に埋め込まれた幾何・位置情報をテキスト表現としてどの程度活用できるか？
• RQ4 局所性は、明示的な幾何学よりも材料特性予測において強い誘導バイアスなのか？
• RQ5 mattext のようなフレームワークは、テキストベースのアプローチの根本的な不足を明らかにし、より良い表現を設くことができるか？

主な発見

• 現在の LLM は、表現を問わず材料モデリングに必要な幾何情報を捉えるのに一貫して苦労している。
• 事前学習データやモデルサイズのスケーリングは、下流の材料特性タスクに対して限定的または混在した効果を示す。
• 局所環境を強調する表現（局所性バイアス）は、幾何学的に豊かな表現と同等の性能を示すことがあり、モデルが局所情報により依存していることを示唆している。
• 明示的な幾何学を欠く表現（例：SLICES）は、より情報量の多い表現と対等に戦えることがあり、追加の幾何学的詳細が現在のモデルで安定して活用されていないことを示す。
• デコーダー専用の LLM（例：Llama-3）のファインチューニングは、位置情報を有用にすることが少なく、明示的な位置データがいくつかのデータセットで性能を悪化させることもある。
• mattext フレームワークは、テキストベースの材料モデリングの弱点を露呈し、局所性に重点を置く粗粒度表現が有望な方向性であることを示している。

Figure 2: \mattext -BERT scaling cross-validation scores. We pretrained BERT models with increasing pretraining dataset sizes (indicated in color) and fine-tuned them for material property prediction tasks using different material text representations. The error bars indicate the standard deviation