[论文解读] Improving Performance Prediction of Electrolyte Formulations with Transformer-based Molecular Representation Model

Indra Priyadarsini, Vidushi Sharma+4 more|arXiv (Cornell University)|Jun 28, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

该论文提出了一种基于Transformer的分子表征模型BART-SA，通过SELFIES编码学习稳健的分子嵌入，并在求和前按浓度对嵌入进行缩放，从而将分子表征统一为一个特征向量，以提升电解质配方性能预测的准确性。该方法在两项电池性能预测任务中均取得了当前最优结果，库仑效率预测的RMSE为0.148，比容量预测的RMSE为20.001 mAh/g。

ABSTRACT

Development of efficient and high-performing electrolytes is crucial for advancing energy storage technologies, particularly in batteries. Predicting the performance of battery electrolytes rely on complex interactions between the individual constituents. Consequently, a strategy that adeptly captures these relationships and forms a robust representation of the formulation is essential for integrating with machine learning models to predict properties accurately. In this paper, we introduce a novel approach leveraging a transformer-based molecular representation model to effectively and efficiently capture the representation of electrolyte formulations. The performance of the proposed approach is evaluated on two battery property prediction tasks and the results show superior performance compared to the state-of-the-art methods.

研究动机与目标

• 为解决尽管存在复杂的多组分相互作用和可变的配方组成，仍难以准确预测电池电解质性能的挑战。
• 开发一种可扩展、可泛化的多组分电解质配方表征方法，以同时捕捉分子身份和相对浓度信息。
• 克服先前模型依赖虚拟特征工程或无法有效建模浓度依赖效应的局限性。
• 通过在分子序列上进行自监督预训练并提升表征保真度，提升电池性能预测的泛化能力和预测准确性。

提出的方法

• 在ZINC和PubChem的5亿和1.18亿个分子上预训练双向自回归Transformer（BART），使用SELFIES表示法以确保语法和语义的有效性。
• 对SELFIES编码的分子采用词级别分词，词汇表大小为3160，以支持稳健的序列建模。
• 在预训练过程中应用掩码语言建模，随机掩码15%的标记并重建，以学习上下文相关的分子表征。
• 通过将每个分子表征（来自预训练的BART）按其摩尔浓度缩放后求和，为每种电解质配方构建统一的特征向量。
• 在下游电池性能预测任务（如库仑效率和比容量预测）上微调所得特征向量。
• 避免使用虚拟特征工程，通过浓度加权向量求和策略，实现对不同组分数量的配方的灵活性支持。

Figure 1: Pre-training model architecture

实验结果

研究问题

• RQ1 在SELFIES编码的分子序列上预训练的自监督Transformer模型，能否提升复杂电解质配方的分子表征学习能力？
• RQ2 对分子嵌入进行浓度感知缩放，是否能提升机器学习模型在电池电解质性能预测中的表现？
• RQ3 与当前最优模型（如F-GCN、MolFormer和MM-MolFormer）相比，所提出方法在电解质性能预测中的表现如何？
• RQ4 与SMILES相比，使用SELFIES在多大程度上提升了模型的泛化能力并减少了无效分子表征的学习风险？
• RQ5 该模型是否能在不依赖虚拟填充或固定大小特征工程的前提下，泛化到具有可变组分数的多样化电解质配方？

主要发现

• 所提出的BART-SA模型在库仑效率（LCE）预测任务中取得了0.148的RMSE，优于所有先前方法，包括F-GCN TL、MolFormer和MM-MolFormer。
• 在比容量预测任务中，BART-SA的RMSE为20.001 mAh/g，优于F-GCN TL（20.495 mAh/g）和F-GCN no-TL（39.823 mAh/g）。
• 该模型在高性能电解质上的表现尤为出色，其预测值在两类任务的拟合图中均与实际值高度一致。
• 该模型在预测高性能电解质方面表现出色，而对低容量电池的预测误差较高，主要源于实验噪声和不稳定性。
• 在预训练中使用SELFIES显著提升了分子表征的质量，降低了学习无效或非化学结构的风险。
• 浓度加权向量求和策略实现了稳定、可扩展且可泛化的特征表征，无需虚拟填充，支持多组分配方的灵活建模。

Figure 2: Illustration of the general schematic of the proposed method. (a) shows the general format of the electrolyte formulation dataset. (b) describes the procedure to construct the feature vector for an electrolyte formulation. (c) shows the fine-tuning model trained using the feature vector fo