[论文解读] Large Language Model-Guided Prediction Toward Quantum Materials Synthesis

Ryotaro Okabe, Zack West+6 more|arXiv (Cornell University)|Oct 28, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

该论文提出了一种基于大语言模型（LLM）的框架，通过在文本挖掘的合成数据库上微调，预测无机和量子材料的合成路径。该方法利用广义Tanimoto相似度度量，实现了高达90%的准确率，显著优于基线模型，并在具有不同量子特性的材料上表现出鲁棒性。

ABSTRACT

The synthesis of inorganic crystalline materials is essential for modern technology, especially in quantum materials development. However, designing efficient synthesis workflows remains a significant challenge due to the precise experimental conditions and extensive trial and error. Here, we present a framework using large language models (LLMs) to predict synthesis pathways for inorganic materials, including quantum materials. Our framework contains three models: LHS2RHS, predicting products from reactants; RHS2LHS, predicting reactants from products; and TGT2CEQ, generating full chemical equations for target compounds. Fine-tuned on a text-mined synthesis database, our model raises accuracy from under 40% with pretrained models, to under 80% using conventional fine-tuning, and further to around 90% with our proposed generalized Tanimoto similarity, while maintaining robust to additional synthesis steps. Our model further demonstrates comparable performance across materials with varying degrees of quantumness quantified using quantum weight, indicating that LLMs offer a powerful tool to predict balanced chemical equations for quantum materials discovery.

研究动机与目标

• 为解决无机和量子材料高效合成流程设计的挑战，这些挑战通常因试错实验而受阻。
• 开发一种基于LLM的框架，能够从反应物、产物或目标化合物预测完整的化学方程式。
• 在复杂且具有高量子特性的材料上，提升预测准确率，超越预训练模型和传统微调方法。
• 在不降低准确率的前提下，确保对额外合成操作提示（如加热、淬火）的鲁棒性。
• 提出一种新型相似度度量方法——广义Tanimoto相似度（GTS），允许化学式中原子的排列顺序变化，从而提升化学方程式评估的灵活性与准确性。

提出的方法

• 微调三种不同的LLM：LHS2RHS（从反应物到产物）、RHS2LHS（从产物到反应物）以及TGT2CEQ（从目标化合物到完整化学方程式）。
• 使用9:1的训练集与测试集划分，在文本挖掘的合成数据库上进行训练，训练100轮，并采用10折交叉验证，重复训练至200轮以确保收敛。
• 采用束搜索多项式采样，使用两个束宽，启用采样，并采用固定长度解码，以在多样性与准确性之间取得平衡，同时防止重复生成。
• 引入一种广义Tanimoto相似度（GTS）度量方法，允许化学式中原子的排列顺序变化，从而在标准Jaccard相似度（JS）基础上提升鲁棒性。
• 在提示中引入描述合成操作的内容（如加热、混合），以测试模型的鲁棒性，确保在这些扰动下仍保持高准确率。
• 使用Jaccard相似度和所提出的GTS对模型性能进行评估，其中量子权重$K_{xx}$用于量化材料在评估中的量子特性。

Figure 1: Overview of large language model prediction of the synthesis process. Synthesis protocols are pre-processed into structured data ( ? ) (the lower left figure is taken from the same reference), which specify target compounds, precursors, operations, and conditions. The synthesis pathway of

实验结果

研究问题

• RQ1 LLM能否被有效微调，以预测无机材料合成的完整且配平的化学方程式？
• RQ2 与标准Jaccard相似度相比，广义Tanimoto相似度（GTS）度量在化学方程式匹配中如何提升预测准确率？
• RQ3 基于LLM的模型在具有不同量子特性程度的材料上，其泛化能力如何，该程度由量子权重$K_{xx}$量化？
• RQ4 在提示中包含合成操作（如加热、淬火）是否会降低模型性能，其鲁棒性是否能够保持？
• RQ5 所提出的框架能否通过准确预测可行的反应路径，减少在量子材料合成中对试错法的依赖？

主要发现

• 基于LLM的框架在使用广义Tanimoto相似度（GTS）度量时，实现了约90%的预测准确率，显著优于预训练模型的40%以下准确率以及传统微调方法的80%以下准确率。
• 广义Tanimoto相似度（GTS）度量通过允许化学式中原子的排列顺序变化，优于标准Jaccard相似度，从而实现更灵活且准确的化学方程式预测评估。
• 即使在接收到额外的合成操作提示（如加热、混合）时，模型仍保持高准确率和一致性，表现出对输入描述扰动的鲁棒性。
• 该框架在具有不同量子权重$K_{xx}$的材料上表现相当，表明其在预测量子材料合成路径方面具有有效性，无论其量子特性程度如何。
• TGT2CEQ模型能够仅从目标化合物成功生成完整的化学方程式，实现无需预先提供反应物的正向合成路径预测。
• 该框架的源代码已公开发布于 https://github.com/RyotaroOKabe/llm4syn，支持可复现性与进一步开发。

Figure 2: Workflow to compute the generalized Tanimoto similarity (GTS). For any pair of predicted and ground truth chemical equations, each chemical formula, represented by A, B, … J, from both equations is vectorized into vector of element counts $\mathbf{v}_{\text{A}},\mathbf{v}_{\text{B}},...\ma