[论文解读] Fine-tuning Protein Language Models with Deep Mutational Scanning improves Variant Effect Prediction

Aleix Lafita, Ferran Gonzalez Hernandez+6 more|arXiv (Cornell University)|May 10, 2024

Machine Learning in Bioinformatics被引用 10

一句话总结

论文介绍了 Normalised Log-odds Ratio (NLR)，一种用于在以 Deep Mutational Scanning (DMS) 数据训练的蛋白质语言模型（PLMs）上的轻量级微调头，以在基准测试中提升 missense 变体效应预测。

ABSTRACT

Protein Language Models (PLMs) have emerged as performant and scalable tools for predicting the functional impact and clinical significance of protein-coding variants, but they still lag experimental accuracy. Here, we present a novel fine-tuning approach to improve the performance of PLMs with experimental maps of variant effects from Deep Mutational Scanning (DMS) assays using a Normalised Log-odds Ratio (NLR) head. We find consistent improvements in a held-out protein test set, and on independent DMS and clinical variant annotation benchmarks from ProteinGym and ClinVar. These findings demonstrate that DMS is a promising source of sequence diversity and supervised training data for improving the performance of PLMs for variant effect prediction.

研究动机与目标

• 激发在零-shot PLM 性能之外提升 missense 变体的功能影响预测。
• 提出一个归一化与微调流程，以利用来自多种测定的 DMS 得分。
• 在待留出的蛋白质和独立基准上展示改进。
• 在训练数据有限时评估泛化能力并分析模型在不同蛋白质上的表现。
• 讨论在集成更多 DMS 数据和基于 MSAs 的 PLMs 的可扩展性与未来方向。

提出的方法

• 通过重新缩放归一化不同测定中的 DMS 得分，使同义变体均值为 0，无义变体为 -1，然后限制在 [-2, 2]。
• 引入 Normalised Log-odds Ratio (NLR) 头部，它为每个野生型序列的所有替代计算对数优势比矩阵。
• 在 NLR 头下对 ESM-1v 编码器进行微调（并对比 ESM-1b/ESM-2）；推理时在五个模型检查点之间对预测进行平均。
• 使用来自 25 种蛋白质的 DMS 数据（109,215 个变体）进行 5 折交叉验证，随后进行全量训练。
• 在保留的 MaveDB 测试蛋白、ProteinGym DMS 测定以及 ClinVar 的致病/良性变体上进行评估；分析按蛋白的性能和基线的零-shot 结果。

Figure 1: Methods overview. A) Preparation of normalised DMS functional scores from a subset of MaveDB experiments. The mean scores of synonymous and nonsense variants are used to create a common scale across assays and proteins. B) Fine-tuning pipeline for ESM-1v models using the Normalised Log-odd

实验结果

研究问题

• RQ1 NLR 微调是否能在零-shot 性能之外提升基于 PLM 的变体效应预测？
• RQ2 在同一尺度上整合多样化的 DMS 数据集是否能提升独立基准上的预测？
• RQ3 NLR 如何影响不同 PLM 架构（ESM-1v、ESM-1b、ESM-2）的性能，以及训练数据规模对提升的影响？
• RQ4 在基线零-shot 精度较低或在预训练数据中表示不足的蛋白质上是否有性能提升？

主要发现

• NLR 微调使 MaveDB 测试蛋白的微平均斯皮尔曼相关性从 0.478 提升到 0.503（+5.2%）。
• NLR 微调使 ProteinGym 平均斯皮尔曼相关性从 0.331 提升到 0.396（+19.6%）。
• NLR 微调使 ClinVar auROC 从 0.891 提升到 0.902（+1.23%）。
• 分蛋白 ClinVar 分析显示持续改进，尤其中基线 auROC 较低的蛋白质。
• ESM-1b 和 ESM-2 也从 NLR 微调中受益，在某些设置下 ProteinGym 的相对斯皮尔曼增益最高可达 25.6%；收益不仅限于单一架构。
• 改进随更多 DMS 数据增加而放大，对于在预训练中未充分表示的蛋白（如病毒蛋白）略有增加。

Figure 2: Results after NLR fine-tuning of ESM-1v models across benchmarks. A) Performance in the five MaveDB test proteins. ProteinGym DMS assays and ClinVar pathogenic variants. B) Spearman correlation in MaveDB test proteins. Mean $\pm$ standard deviation (std) of 50 bootstrapped samples. C) Spea