[论文解读] Enhancing the Protein Tertiary Structure Prediction by Multiple Sequence Alignment Generation

Le Zhang, Jiayang Chen+3 more|arXiv (Cornell University)|Jun 2, 2023

Protein Structure and Dynamics被引用 6

一句话总结

该论文提出 MSA-Augmenter，一种基于 Transformer 的生成模型，通过生成新颖且进化上一致的蛋白质序列来增强低质量的多序列比对（MSA）。通过将新生成的序列添加到浅层 MSA 中，该方法显著提升了 AlphaFold2 在蛋白质三级结构预测中的准确性，尤其在同源序列较少的情况下表现突出，在 CASP14 基准测试中实现了最先进水平的性能提升。

ABSTRACT

The field of protein folding research has been greatly advanced by deep learning methods, with AlphaFold2 (AF2) demonstrating exceptional performance and atomic-level precision. As co-evolution is integral to protein structure prediction, AF2's accuracy is significantly influenced by the depth of multiple sequence alignment (MSA), which requires extensive exploration of a large protein database for similar sequences. However, not all protein sequences possess abundant homologous families, and consequently, AF2's performance can degrade on such queries, at times failing to produce meaningful results. To address this, we introduce a novel generative language model, MSA-Augmenter, which leverages protein-specific attention mechanisms and large-scale MSAs to generate useful, novel protein sequences not currently found in databases. These sequences supplement shallow MSAs, enhancing the accuracy of structural property predictions. Our experiments on CASP14 demonstrate that MSA-Augmenter can generate de novo sequences that retain co-evolutionary information from inferior MSAs, thereby improving protein structure prediction quality on top of strong AF2.

研究动机与目标

• 解决由于缺乏同源序列导致多序列比对（MSA）浅层化时蛋白质三级结构预测准确性下降的问题。
• 开发一种方法，用于生成生物上合理且共进化一致的蛋白质序列，以丰富低深度 MSA。
• 通过将生成的序列作为额外的进化信息整合，提升下游结构预测性能。
• 评估序列生成在提升 MSA 质量和结构预测准确性方面的有效性，特别是在同源序列较少的挑战性情况下。
• 研究 pLDDT 作为筛选生成 MSA 的标准是否可靠，并探索更优的过滤策略。

提出的方法

• MSA-Augmenter 是一种序列到序列的 Transformer 模型，可从单个输入 MSA 同时生成多个同源蛋白质序列。
• 该模型使用蛋白质特异的自注意力机制，从输入 MSA 中编码全局结构和进化信息。
• 在包含 200 万个蛋白质 MSA 的大规模数据集上，采用掩码语言建模范式进行预训练，以学习共进化模式。
• 将生成的序列附加到原始 MSA 后形成增强后的比对，再作为输入提供给 AlphaFold2 进行结构预测。
• 采用集成策略，聚合多次生成的结果，以提高鲁棒性并筛选高质量输出。
• 该方法在 CASP14 MSA 上进行评估，其深度 < 50，重点关注 AF2 性能通常下降的情况。

Figure 1: Procedure overview. A low-quality MSA is introduced into the encoder as the source input, from which the decoder concurrently generates multiple homologous sequences. Subsequently, these sequences are appended to the low-quality MSA to create an enhanced MSA, which is then supplied to the

实验结果

研究问题

• RQ1 生成模型能否产生进化上一致的蛋白质序列，以增强低质量 MSA 并提升三级结构预测准确性？
• RQ2 MSA-Augmenter 在不同深度 MSA 上的性能表现如何，特别是在低同源性情况下？
• RQ3 pLDDT 分数是否可作为从多次生成中选择最佳增强 MSA 的可靠标准？
• RQ4 该方法能否显著提升 AlphaFold2 在具有浅层 MSA 的挑战性 CASP14 目标上的性能？
• RQ5 集成生成与选择策略对最终预测准确率有何影响？

主要发现

• MSA-Augmenter 显著提升了 CASP14 目标中浅层 MSA 的蛋白质结构预测准确性，尤其在同源序列少于 10 个的情况下表现突出。
• 在 T1093-D1（深度为 2）上，LDDT 平均提升 25.27 分，表明在最具挑战性的案例中实现了显著增强。
• 在 T1096-D1（深度为 7）上，增强后 LDDT 分数提升了 9.27 分，表明在低深度 MSA 上具有持续的增益。
• 研究发现 pLDDT 是不可靠的筛选标准，其常与实际 LDDT 提升呈负相关；某些情况下即使 pLDDT 得分高，性能反而下降。
• 当基于真实 LDDT（而非 pLDDT）选择最佳 MSA 时，该方法展现出尚未被挖掘的潜力，表明更优的过滤策略可进一步提升结果。
• 该模型在极浅 MSA（深度 < 10）上表现最佳，而在中等深度 MSA（10 < 深度 < 50）上增益逐渐减弱，可能由于预训练数据的分布偏移所致。

Figure 2: MSA-Augmenter overview (Top) Architecture and Pipeline and Module Attention Operations; (Bottom) Attention mechanism. In representing a single position, the red star denotes the query, while the red boxes signify keys and values for attention processing and computation.