[論文レビュー] Large Language Model-Guided Prediction Toward Quantum Materials Synthesis

Ryotaro Okabe, Zack West+6 more|arXiv (Cornell University)|Oct 28, 2024

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

この論文では、テキストマイニングされた合成データベースで微調整された大規模言語モデル（LLM）に基づくフレームワークを提示しており、無機材料および量子材料の合成経路を予測する。この手法は、一般化されたタニモト類似度指標を用いて最大90％の正確性を達成し、ベースラインモデルを著しく上回り、量子的性質が異なる材料に対しても堅牢であることが示された。

ABSTRACT

The synthesis of inorganic crystalline materials is essential for modern technology, especially in quantum materials development. However, designing efficient synthesis workflows remains a significant challenge due to the precise experimental conditions and extensive trial and error. Here, we present a framework using large language models (LLMs) to predict synthesis pathways for inorganic materials, including quantum materials. Our framework contains three models: LHS2RHS, predicting products from reactants; RHS2LHS, predicting reactants from products; and TGT2CEQ, generating full chemical equations for target compounds. Fine-tuned on a text-mined synthesis database, our model raises accuracy from under 40% with pretrained models, to under 80% using conventional fine-tuning, and further to around 90% with our proposed generalized Tanimoto similarity, while maintaining robust to additional synthesis steps. Our model further demonstrates comparable performance across materials with varying degrees of quantumness quantified using quantum weight, indicating that LLMs offer a powerful tool to predict balanced chemical equations for quantum materials discovery.

研究の動機と目的

• 無機材料および量子材料の合成ワークフローを効率的につくる挑戦に応えること。これは、しばしば試行錯誤の実験によって妨げられる。
• 反応物、生成物、または標的化合物から完全な化学反応式を予測できるLLMベースのフレームワークを開発すること。
• 特に量子的性質が強い複雑な材料において、事前学習モデルや従来の微調整を上回る予測正確性を向上させること。
• 加えて合成操作のプロンプト（例：加熱、クエンチング）を提示しても正確性が低下しないよう、堅牢性を確保すること。
• 原子の順序を入れ替えを許容する一般化されたタニモト類似度（GTS）という新しい類似度指標を導入し、化学反応式の評価における柔軟性と正確性を向上させること。

提案手法

• LHS2RHS（反応物から生成物）、RHS2LHS（生成物から反応物）、TGT2CEQ（標的化合物から完全な化学反応式）の3つの異なるLLMを微調整する。
• 9:1の訓練対テスト分割を用い、100エポックで学習し、10分割交差検証を実施。収束を確認するため200エポックまで繰り返し実行する。
• 多様性と正確性のバランスを保ちつつ、重複した生成を防ぐために、2ビームのビームサーチと多項分布サンプリング、固定長デコードを有効化する。
• 化学式内の原子の順序を入れ替えを許容する一般化されたタニモト類似度（GTS）指標を導入し、標準的なジャカード類似度（JS）よりも堅牢な評価を可能にする。
• 合成操作を示すプロンプト（例：加熱、混合）を組み込み、モデルの堅牢性をテストし、このような摂動に対しても高い正確性を維持できることを確認する。
• モデルの性能を、ジャカード類似度と提案されたGTSの両方で評価し、評価において材料の量子的性質を定量化するための量子重み$K_{xx}$を用いる。

Figure 1: Overview of large language model prediction of the synthesis process. Synthesis protocols are pre-processed into structured data ( ? ) (the lower left figure is taken from the same reference), which specify target compounds, precursors, operations, and conditions. The synthesis pathway of

実験結果

リサーチクエスチョン

• RQ1 LLMは、無機材料の合成に対して完全でバランスの取れた化学反応式を効果的に予測できるか？
• RQ2 一般化されたタニモト類似度（GTS）指標は、標準的なジャカード類似度と比較して、化学反応式マッチングの正確性をどのように向上させるか？
• RQ3 量子重み$K_{xx}$で定量化されるように、量子的性質の程度が異なる材料に対してLLMベースのモデルはどの程度一般化できるか？
• RQ4 合成操作のプロンプト（例：加熱、クエンチング）を含めるとモデルの性能が低下するか？また、そのような状況でも堅牢性を維持できるか？
• RQ5 提案されたフレームワークは、試行錯誤に依存する量子材料合成を減らすことができるか？具体的には、有効な反応経路を正確に予測できるか？

主な発見

• LLMベースのフレームワークは、一般化されたタニモト類似度（GTS）指標を用いて約90％の予測正確性を達成し、事前学習モデルの40％未満、従来の微調整では80％未満という結果を著しく上回った。
• 一般化されたタニモト類似度（GTS）指標は、化学式内の原子の順序を入れ替えを許容することで、標準的なジャカード類似度よりも優れた性能を発揮し、化学反応式の予測評価における柔軟性と正確性を向上させた。
• 加熱や混合などの追加の合成操作を含むプロンプトに対しても、モデルは高い正確性と一貫性を維持しており、入力記述の摂動に対して堅牢であることが示された。
• 量子重み$K_{xx}$が異なる材料に対しても、フレームワークは同等の性能を示し、量子的性質の程度に関係なく、量子材料の合成経路予測に有効であることが確認された。
• TGT2CEQモデルは、反応物の入力なしに標的化合物からのみ完全な化学反応式を生成でき、反応物を事前に知らずに有効な合成経路を前方予測する能力を有していた。
• 本フレームワークのソースコードはhttps://github.com/RyotaroOKabe/llm4synにて公開されており、再現性とさらなる開発を支援している。

Figure 2: Workflow to compute the generalized Tanimoto similarity (GTS). For any pair of predicted and ground truth chemical equations, each chemical formula, represented by A, B, … J, from both equations is vectorized into vector of element counts $\mathbf{v}_{\text{A}},\mathbf{v}_{\text{B}},...\ma