[論文レビュー] LLM-Prop: Predicting Physical And Electronic Properties Of Crystalline Solids From Their Text Descriptions

Andre Niyongabo Rubungo, Craig B. Arnold+2 more|arXiv (Cornell University)|Oct 21, 2023

Machine Learning in Materials Science被引用数 29

ひとこと要約

LLM-Prop は TextEdge データセットを用いて、テキスト記述から結晶特性を予測するために T5 エンコーダをファインチューニングする。GNN ベースラインを上回る最先端の結果を、バンドギャップ、直接/間接分類、そして単位胞体積で達成する。

ABSTRACT

The prediction of crystal properties plays a crucial role in the crystal design process. Current methods for predicting crystal properties focus on modeling crystal structures using graph neural networks (GNNs). Although GNNs are powerful, accurately modeling the complex interactions between atoms and molecules within a crystal remains a challenge. Surprisingly, predicting crystal properties from crystal text descriptions is understudied, despite the rich information and expressiveness that text data offer. One of the main reasons is the lack of publicly available data for this task. In this paper, we develop and make public a benchmark dataset (called TextEdge) that contains text descriptions of crystal structures with their properties. We then propose LLM-Prop, a method that leverages the general-purpose learning capabilities of large language models (LLMs) to predict the physical and electronic properties of crystals from their text descriptions. LLM-Prop outperforms the current state-of-the-art GNN-based crystal property predictor by about 4% in predicting band gap, 3% in classifying whether the band gap is direct or indirect, and 66% in predicting unit cell volume. LLM-Prop also outperforms a finetuned MatBERT, a domain-specific pre-trained BERT model, despite having 3 times fewer parameters. Our empirical results may highlight the current inability of GNNs to capture information pertaining to space group symmetry and Wyckoff sites for accurate crystal property prediction.

研究の動機と目的

• 結晶構造のテキスト記述を用いて結晶設計を加速するための迅速な結晶特性予測を動機づける。
• 材料科学のNLPを促進するため、結晶のテキスト記述と特性を含む公開ベンチマーク（TextEdge）を提供する。
• 事前学習済みエンコーダ（T5）をテキスト記述でファインチューニングすることで、結晶特性予測においてグラフニューラルネットワークを上回ることを示す。
• テキストベースの表現が、GNN が見逃しがちなspace-groupおよびWyckoff情報を捉えられることを示す。

提案手法

• T5 エンコーダをファインチューニング（デコーダを破棄）し、線形出力層で回帰と分類を行う。
• Robocrystallographer に由来する結晶テキスト記述を処理し、ベンチマークデータで学習した32k語彙を使用する。
• 入力前処理としてストップワードを削除し、結合距離を [NUM] トークン、結合角度を [ANG] トークンに置換し、プーリング用に [CLS] トークンを前置する。
• 正規化されたターゲット（z-score、min-max、または対数正規化）で訓練し、評価のために予測を逆正規化する。
• CLS トークンの埋め込みを最終的な線形予測子の入力とし、より長い入力系列（最大888トークン）でより豊かな結晶記述を可能にする。
• Band gap、直接/間接、体積タスクで CGCNN、MEGNet、ALIGNN（GNN）、MatBERT（テキストベースライン）と比較して優れた性能を示す。

Figure 1 : LLM-Prop architecture. On the left most of the figure, we show how we get the description from the crystal structure using Robocrystallographer. The middle part shows the comparison between our approach (text-based) and baselines (structure-based). The yellow colored information is relate

実験結果

リサーチクエスチョン

• RQ1 結晶特性は、Explicit グラフ表現なしで、テキスト記述だけから正確に予測できるか？
• RQ2 この領域で、事前学習済みのエンコーダ-デコーダモデル（T5）のデコーダを削除し、エンコーダを回帰/分類向けにファインチューニングした場合、どのような性能になるか。
• RQ3 テキストから結晶対称性、space-group、Wyckoff サイト情報を捉えるために、どの前処理と入力長戦略が最適か。
• RQ4 複数の結晶特性タスクで、LLM-Prop は MatBERT のようなドメイン特化 LLM や GNN ベースラインとどう比較されるか。
• RQ5 結晶特性予測において、グラフベースモデルと比較した場合、LLM-Prop はどの程度のデータ効率を達成できるか。

主な発見

• LLM-Prop は、バンドギャップおよび体積予測で最先端のGNNベースライン（例：ALIGNN）を一貫して上回る。バンドギャップのMAEは約4–8%、体積のMAEは約66–67% 改善。
• バンドギャップの直接/間接分類において、LLM-Prop は検証でベストなGNNベースラインを約5%のAUCで上回り、異なる設定での一致/テストの利得を示す。
• 512 トークンを使用した場合でも LLM-Prop はGNNベースラインを上回り、888 トークンでは最良の性能を達成し、エンコーダ-デコーダ構成の約半分のパラメータで済む。
• LLM-Prop はしばしば MatBERT を上回り、タスク間の転移学習（バンドギャップから体積へ、またはその逆）を強力に示す。
• テキストベースの表現は、GNNベースの結晶予測器が捉えにくい space-group および Wyckoff サイト情報を捉えられる可能性があり、将来のモデルの補完的な方向性を示唆する。
• データ効率: LLM-Prop はバンドギャップと体積で約9万の学習サンプルで最先端の結果を達成し、体積予測では約3万程度です。これははるかに多くのデータを使用するGNNベースラインを上回る。

Figure 2 : Training data size needed by LLM-Prop to achieve state-of-the-art (SOTA) results on predicting different properties. For instance, LLM-Prop achieves SOTA results on prediciting band gap and volume with just about 90k training data ( $log_{10}90k\approx 4.95$ on the figure ) that correspon