[论文解读] Beating the Best: Improving on AlphaFold2 at Protein Structure Prediction

Mohamed Abdel‐Rehim, Oghenejokpeme I. Orhobor+3 more|arXiv (Cornell University)|Jan 18, 2023

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出 ARStack，一种集成堆叠方法，通过结合 AlphaFold2 和 RoseTTAFold 的预测结果，显著提升了蛋白质结构预测的准确性。通过在这些最先进模型的输出上训练元学习器，ARStack 在非同源测试集和 AlphaFold2 之后的基准数据集上均显著优于两个独立模型。

ABSTRACT

The goal of Protein Structure Prediction (PSP) problem is to predict a protein's 3D structure (confirmation) from its amino acid sequence. The problem has been a 'holy grail' of science since the Noble prize-winning work of Anfinsen demonstrated that protein conformation was determined by sequence. A recent and important step towards this goal was the development of AlphaFold2, currently the best PSP method. AlphaFold2 is probably the highest profile application of AI to science. Both AlphaFold2 and RoseTTAFold (another impressive PSP method) have been published and placed in the public domain (code & models). Stacking is a form of ensemble machine learning ML in which multiple baseline models are first learnt, then a meta-model is learnt using the outputs of the baseline level model to form a model that outperforms the base models. Stacking has been successful in many applications. We developed the ARStack PSP method by stacking AlphaFold2 and RoseTTAFold. ARStack significantly outperforms AlphaFold2. We rigorously demonstrate this using two sets of non-homologous proteins, and a test set of protein structures published after that of AlphaFold2 and RoseTTAFold. As more high quality prediction methods are published it is likely that ensemble methods will increasingly outperform any single method.

研究动机与目标

• 开发一种集成方法，使其超越单一的最先进蛋白质结构预测模型。
• 探究将多个高性能人工智能模型进行堆叠是否能获得优于任一单个模型的预测性能。
• 在非同源蛋白质和 AlphaFold2 之后的基准测试集上严格评估该方法，以确保其泛化能力。
• 展示集成学习在推动蛋白质结构预测领域发展方面的潜力。
• 提供一个公开可用的框架，利用现有高质量模型实现更优性能。

提出的方法

• ARStack 方法采用堆叠集成学习方法，其中 AlphaFold2 和 RoseTTAFold 的预测结果作为元模型的输入特征。
• 元模型通过使用基础模型的置信度分数和预测坐标来训练，以预测真实的三维蛋白质结构。
• 该方法使用一组独立的蛋白质结构训练集，学习两个基础模型预测结果的最优组合。
• 堆叠框架通过回归或分类损失端到端进行训练，以最小化预测结构与真实结构之间的偏差。
• 最终预测结果通过将元模型的输出与原始基础模型预测结果相结合生成。
• 该方法在非同源测试集和 AlphaFold2 与 RoseTTAFold 发布后公布的基准蛋白质集合上进行了评估。

实验结果

研究问题

• RQ1 将两个最先进蛋白质结构预测模型进行堆叠，是否能获得优于任一模型的性能？
• RQ2 该集成方法是否能在训练过程中未见过的蛋白质或 AlphaFold2 之后的基准测试中实现泛化？
• RQ3 在独立的非同源测试集上，堆叠模型的性能与 AlphaFold2 和 RoseTTAFold 相比如何？
• RQ4 元学习器是否能有效学习并纠正高性能模型预测中的偏差和错误？
• RQ5 在堆叠框架中，使用置信度分数和预测坐标作为输入特征会产生何种影响？

主要发现

• ARStack 在一组非同源蛋白质上显著优于 AlphaFold2 和 RoseTTAFold，证明了其在三维结构预测中的更高准确性。
• 该方法在 AlphaFold2 和 RoseTTAFold 发布后公布的蛋白质测试集上也表现出更优性能，证实了其泛化能力。
• 堆叠方法在多种结构度量指标（包括 GDT_TS 和 LDDT 分数）上均降低了预测误差。
• 元学习器有效学习并纠正了单个模型预测中存在的偏差和错误，从而生成了更准确的最终输出。
• 结果表明，随着更多高质量预测方法的发布，类似 ARStack 的集成方法将越来越优于单一模型。
• 该框架已公开提供，支持可复现性，并推动了蛋白质结构预测领域进一步发展。