[论文解读] Benchmarking AlphaFold3's protein-protein complex accuracy and machine learning prediction reliability for binding free energy changes upon mutation

JunJie Wee, Guo-Wei Wei|PubMed|Jun 6, 2024

Machine Learning in Bioinformatics参考文献 20被引用 11

一句话总结

本文评估 AlphaFold3 的预测蛋白质-蛋白质复合物结构与 SKEMPI 2.0 突变的结合自由能变化预测，发现 AF3 在 BFE 变化方面的皮尔逊相关系数 Rp 为 0.86，且与 PDB 结构相比 RMSE 增加约 8.6%，并强调了对可变区域的可靠性限制。

ABSTRACT

AlphaFold 3 (AF3), the latest version of protein structure prediction software, goes beyond its predecessors by predicting protein-protein complexes. It could revolutionize drug discovery and protein engineering, marking a major step towards comprehensive, automated protein structure prediction. However, independent validation of AF3's predictions is necessary. Evaluated using the SKEMPI 2.0 database which involves 317 protein-protein complexes and 8338 mutations, AF3 complex structures give rise to a very good Pearson correlation coefficient of 0.86 for predicting protein-protein binding free energy changes upon mutation, slightly less than the 0.88 achieved earlier with the Protein Data Bank (PDB) structures. Nonetheless, AF3 complex structures led to a 8.6% increase in the prediction RMSE compared to original PDB complex structures. Additionally, some of AF3's complex structures have large errors, which were not captured in its ipTM performance metric. Finally, it is found that AF3's complex structures are not reliable for intrinsically flexible regions or domains.

研究动机与目标

• 评估 AF3 预测的蛋白质-蛋白质复合物相对于 SKEMPI 2.0 实验参考的准确性。
• 使用基于拓扑的 MT-TopLap 模型，从 AF3 结构预测突变引起的结合自由能变化（BFE 变化）。
• 将基于 AF3 的结构预测与在 S8338 数据集上的现有方法进行比较。
• 识别在什么条件下 AF3 预测更可靠或较不可靠，包括结构错配和可变区域。

提出的方法

• 使用 AlphaFold3 生成 317 条蛋白质-蛋白质复合物预测（SKEMPI 2.0 的 S8338 子集）。
• 应用 MT-TopLap，这是一个利用持续拉普拉斯特征的基于拓扑的深度学习模型，用于从 AF3 结构预测突变引起的 BFE 变化。
• 进行 10 倍交叉验证，使用 MT-TopLap AF3 预测 BFE 变化，并将 Rp 和 RMSE 与基线（如 mCSM-PPI2、TopLapNetGPT、TopNetGBT 等）进行比较。
• 通过 RMSD、ipTM 和 pTM 分析结构对齐情况，以评估与标准 AF3 置信度指标的对齐情况。
• 研究 B 因子与每残基 RMSD 的相关性，以评估在可变区域的可靠性。

Figure 1: A: The cartoon representation of ribonuclease inhibitor-angiogenin complex (PDB ID: 1A4Y). The ribonuclease inhibitor is shown in blue and the angiogenin is in green. The mutation spots of 1A4Y in the S8338 dataset are indicated in red. B: The structural alignment of 1A4Y with its AF3 pred

实验结果

研究问题

• RQ1 使用 AF3 预测的 PPI 复合物来估计突变引起的 BFE 变化时，预测相关性（Rp）和 RMSE 是多少？
• RQ2 AF3 基于的结构准确性（RMSD、ipTM、pTM）与 BFE 预测的可靠性之间的关系是怎样的？
• RQ3 AF3 的预测在本质上可变的区域或结构域中是否表现出系统性的薄弱？
• RQ4 MT-TopLap 在 AF3 预测结构上的表现相对于基于 PDB 的基准如何？
• RQ5 哪些结构或拓扑因素最能解释 AF3 基于预测的失败或不一致？

主要发现

• AF3 预测的 PPI 结构在 SKEMPI 2.0 S8338 突变的 BFE 变化预测中实现了 Rp = 0.86，略低于使用 PDB 参考时的 0.88。
• 使用 AF3 结构比使用原始 PDB 复合物时，BFE 变化的 RMSE 增加了 8.6%。
• AF3 复合物的子集显示出较大 RMSD 的错配，而 ipTM 未能捕捉到这些结构错误，表明仅依靠 ipTM 可能导致误判。
• 对于本质上可变的区域或域，AF3 的预测不可靠，因为高 B 因子与较高的残基 RMSD 有相关性。
• MT-TopLap AF3 在 10 折 CV 中相对于若干前沿的拓扑方法具有竞争力的 Rp 值，尽管与基于 PDB 的输入相比仍存在一定的性能差距。

Figure 2: A: Top 40 protein-protein complexes with poorest RMSD alignment scores. B: The ipTM scores for protein-protein complexes in A. C: The mean absolute prediction error for mutation-induced binding free energy changes of the protein-protein complexes in A. D: Top 40 protein-protein complexes w