[论文解读] HelixFold-Single: MSA-free Protein Structure Prediction by Using Protein Language Model as an Alternative

Xiaomin Fang, Fan Wang+8 more|arXiv (Cornell University)|Jul 28, 2022

Protein Structure and Dynamics参考文献 30被引用 15

一句话总结

HelixFold-Single 提出了一种无需 MSA 的蛋白质结构预测方法，该方法用大规模蛋白质语言模型（PLM）替代多序列比对（MSA），直接从一级序列中学习共进化信息。通过将预训练的 PLM 与 AlphaFold2 的几何学习组件相结合，该方法在 CASP14 和 CAMEO 基准测试中实现了具有竞争力的准确率，同时将长蛋白质的推理时间缩短至 40 秒以内，证明了端到端、快速且无需 MSA 的三维结构预测的可行性。

ABSTRACT

AI-based protein structure prediction pipelines, such as AlphaFold2, have achieved near-experimental accuracy. These advanced pipelines mainly rely on Multiple Sequence Alignments (MSAs) as inputs to learn the co-evolution information from the homologous sequences. Nonetheless, searching MSAs from protein databases is time-consuming, usually taking dozens of minutes. Consequently, we attempt to explore the limits of fast protein structure prediction by using only primary sequences of proteins. HelixFold-Single is proposed to combine a large-scale protein language model with the superior geometric learning capability of AlphaFold2. Our proposed method, HelixFold-Single, first pre-trains a large-scale protein language model (PLM) with thousands of millions of primary sequences utilizing the self-supervised learning paradigm, which will be used as an alternative to MSAs for learning the co-evolution information. Then, by combining the pre-trained PLM and the essential components of AlphaFold2, we obtain an end-to-end differentiable model to predict the 3D coordinates of atoms from only the primary sequence. HelixFold-Single is validated in datasets CASP14 and CAMEO, achieving competitive accuracy with the MSA-based methods on the targets with large homologous families. Furthermore, HelixFold-Single consumes much less time than the mainstream pipelines for protein structure prediction, demonstrating its potential in tasks requiring many predictions. The code of HelixFold-Single is available at https://github.com/PaddlePaddle/PaddleHelix/tree/dev/apps/protein_folding/helixfold-single, and we also provide stable web services on https://paddlehelix.baidu.com/app/drug/protein-single/forecast.

研究动机与目标

• 为解决蛋白质结构预测中 MSA 搜索耗时过长的问题，该过程每种蛋白质可能耗时数十分钟。
• 探究大规模蛋白质语言模型（PLM）是否能有效替代 MSA，以捕捉用于三维结构预测的共进化信号。
• 开发一种端到端、可微分的、无需 MSA 的模型，直接从一级序列预测三维原子坐标。
• 提升高通量蛋白质结构预测任务（如蛋白质设计）的效率，其中 MSA 计算成本过高。
• 探究在数十亿条未标注序列上预训练的 PLM 是否能隐式记忆并泛化 MSA 中的共进化模式。

提出的方法

• 在数十亿条未标注的一级序列上使用掩码语言建模对大规模蛋白质语言模型（PLM）进行预训练，使其无需 MSA 即可编码共进化信息。
• 预训练的 PLM 生成单残基和成对表示，替代结构预测流程中来自 MSA 的特征。
• 该模型整合了 AlphaFold2 的 EvoFormer 和 Structure Module，以处理 PLM 编码的表示，并通过几何推理预测三维原子坐标。
• 该架构为端到端可微分结构，将 PLM 与 AlphaFold2 的基于注意力的模块结合，实现联合优化。
• 采用两阶段训练：首先在掩码序列预测任务上预训练 PLM，然后在实验和增强的蛋白质结构上微调完整模型。
• 使用梯度裁剪和动态批量大小调度以在不同序列长度下稳定训练。

实验结果

研究问题

• RQ1 大规模蛋白质语言模型是否能有效替代 MSA，以捕捉用于蛋白质结构预测的共进化信号？
• RQ2 与依赖 MSA 的模型（如 AlphaFold2 和 RoseTTAFold）相比，无 MSA 模型在标准基准测试中的表现如何？
• RQ3 在处理长蛋白质序列时，无 MSA 模型在推理速度上具有何种优势？
• RQ4 在 MSA 深度较低的靶标（如仅有少数同源序列）上，基于 PLM 的方法是否具有良好的泛化能力？
• RQ5 将 PLM 与 AlphaFold2 的几何学习组件结合，是否能实现仅基于一级序列的端到端、可微分的三维结构预测？

主要发现

• HelixFold-Single 在 CASP14 和 CAMEO 基准测试中实现了具有竞争力的准确率，尤其在具有大同源家族的靶标上表现突出。
• 在 CASP14 数据集中，HelixFold-Single 的中位 GDT-TS 得分为 88.7，与 AlphaFold2 和 RoseTTAFold 相当。
• 对于长度超过 800 个残基的蛋白质，HelixFold-Single 的结构预测时间在 40 秒以内，而仅 MSA 搜索就超过 20 分钟。
• 与 MSA 搜索（737–1203 秒）和 AlphaFold2（766–1611 秒）相比，该模型将平均推理时间缩短至 1.5–37.5 秒，具体取决于序列长度。
• 在低同源性靶标的 MSA 深度测试集中，HelixFold-Single 仍保持强劲性能，表明其对稀疏进化信息具有鲁棒性。
• 消融研究显示，10.9 亿参数的 PLM 显著优于 1 亿参数的变体，证实了模型规模在捕捉共进化模式中的重要性。