[论文解读] Leveraging Multi-modal Representations to Predict Protein Melting Temperatures

Daiheng Zhang, Yan Zeng+2 more|arXiv (Cornell University)|Dec 5, 2024

Protein Structure and DynamicsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

该论文提出 ESM3-DTm，一种多模态深度学习框架，利用蛋白质语言模型（特别是 ESM3、ESM2 和 OpenFold）结合序列和结构特征，以预测蛋白质熔融温度的变化（$ abla T_m$）。通过在序列和结构输入上微调 ESM3 主干网络，该模型在 s571 测试集上实现了新的最先进皮尔逊相关系数 0.50，证明了多模态表征在 $ abla T_m$ 预测中的优越性。

ABSTRACT

Accurately predicting protein melting temperature changes (Delta Tm) is fundamental for assessing protein stability and guiding protein engineering. Leveraging multi-modal protein representations has shown great promise in capturing the complex relationships among protein sequences, structures, and functions. In this study, we develop models based on powerful protein language models, including ESM-2, ESM-3 and AlphaFold, using various feature extraction methods to enhance prediction accuracy. By utilizing the ESM-3 model, we achieve a new state-of-the-art performance on the s571 test dataset, obtaining a Pearson correlation coefficient (PCC) of 0.50. Furthermore, we conduct a fair evaluation to compare the performance of different protein language models in the Delta Tm prediction task. Our results demonstrate that integrating multi-modal protein representations could advance the prediction of protein melting temperatures.

研究动机与目标

• 通过使用多模态蛋白质表征来提高预测蛋白质熔融温度变化 ($ abla T_m$) 的准确性。
• 评估不同蛋白质语言模型（ESM2、ESM3 和 OpenFold）在捕捉与 $ ababla T_m$ 相关的序列和结构特征方面的有效性。
• 研究整合结构信息和微调策略对预测性能的影响。
• 通过重新划分训练数据，建立一个公平的 $ abla T_m$ 预测基准，以防止过拟合。
• 比较各种回归头架构在融合亲本型和突变型蛋白质表征方面的表现。

提出的方法

• 该模型使用 ESM3 作为主要主干网络，联合处理蛋白质序列和三维结构，以生成统一的嵌入表征。
• 对于 ESM3 和 ESM2 主干网络，该方法提取 CLS 嵌入以获取全局上下文信息，以及突变位点的嵌入以捕捉局部特征。
• 对于 OpenFold，模型使用 Evoformer 和 Structure Modules 的输出作为全局嵌入，突变位点的表征作为局部特征。
• 采用两种融合策略：通过外积和线性组合方式融合亲本型与突变型嵌入，以预测 $ abla T_m$。
• 对所有模型参数进行端到端微调，采用梯度裁剪和 OneCycle 学习率调度策略。
• 使用表现最佳的回归头的集成模型，以提高最终预测的鲁棒性。

实验结果

研究问题

• RQ1 整合序列和三维结构的多模态蛋白质表征是否能显著提升 $ abla T_m$ 预测的准确性？
• RQ2 ESM2、ESM3 和 OpenFold 等不同蛋白质语言模型在预测 $ abla T_m$ 方面的能力有何差异？
• RQ3 与冻结主干网络相比，微调主干网络是否能带来更好的性能？
• RQ4 哪种回归头架构（如外积、线性组合）能带来最准确的 $ abla T_m$ 预测结果？
• RQ5 数据划分策略对模型泛化能力和性能评估有何影响？

主要发现

• ESM3-DTm 在 s571 测试集上实现了 0.50 的皮尔逊相关系数（PCC），创下 $ abla T_m$ 预测的新最先进水平。
• 该模型将平均绝对误差（MAE）降低至 5.21，均方根误差（RMSE）降低至 7.68，优于先前的方法，包括 GeoDTm-3D 和 GeoStab。
• 多模态 ESM3-DTm 显著优于仅使用序列的模型，与 ESM3-DTm（仅序列）相比，PCC 提高 0.01，MAE 降低 0.10。
• 对 ESM2-650M 主干网络进行微调后，PCC 达到 0.48，而冻结主干网络时仅为 0.46，表明完整参数微调具有显著优势。
• 外积和线性组合的突变位点嵌入在各类回归头中表现最佳，PCC 分别达到 0.41 和 0.40。
• OpenFold-DTm 表现较差（PCC=0.35），表明尽管 OpenFold 在结构预测方面表现强劲，但在本设置下对 $ abla T_m$ 回归的适应性较弱。