[论文解读] Protein Folding Neural Networks Are Not Robust

Sumit Kumar Jha, Arvind Ramanathan+3 more|ArXiv.org|Sep 9, 2021

Protein Structure and Dynamics参考文献 16被引用 11

一句话总结

该论文表明，尽管RoseTTAFold在蛋白质结构预测中具有高精度，但其对生物上微小的序列扰动缺乏鲁棒性，对抗攻击导致的RMSD变化范围从0.119Å增至34.162Å（在20个BLOSUM62单位内）。研究提出了一种基于原始预测与扰动后预测之间逆RMSD的鲁棒性度量，该度量与真实准确度具有强相关性（0.917），可有效识别不可靠的预测结果。

ABSTRACT

Deep neural networks such as AlphaFold and RoseTTAFold predict remarkably accurate structures of proteins compared to other algorithmic approaches. It is known that biologically small perturbations in the protein sequence do not lead to drastic changes in the protein structure. In this paper, we demonstrate that RoseTTAFold does not exhibit such a robustness despite its high accuracy, and biologically small perturbations for some input sequences result in radically different predicted protein structures. This raises the challenge of detecting when these predicted protein structures cannot be trusted. We define the robustness measure for the predicted structure of a protein sequence to be the inverse of the root-mean-square distance (RMSD) in the predicted structure and the structure of its adversarially perturbed sequence. We use adversarial attack methods to create adversarial protein sequences, and show that the RMSD in the predicted protein structure ranges from 0.119Å to 34.162Å when the adversarial perturbations are bounded by 20 units in the BLOSUM62 distance. This demonstrates very high variance in the robustness measure of the predicted structures. We show that the magnitude of the correlation (0.917) between our robustness measure and the RMSD between the predicted structure and the ground truth is high, that is, the predictions with low robustness measure cannot be trusted. This is the first paper demonstrating the susceptibility of RoseTTAFold to adversarial attacks.

研究动机与目标

• 探究像RoseTTAFold这样的高精度蛋白质折叠神经网络（PFNNs）是否对生物上微小的序列扰动具有鲁棒性。
• 识别由于对微小序列变化敏感而导致预测蛋白质结构不可靠的情况。
• 开发一种基于对抗扰动下结构敏感度的鲁棒性度量，以量化PFNN预测的可靠性。
• 比较基于坐标几何与距离几何表示在生成针对PFNNs的有意义对抗攻击方面的有效性。
• 提出一种可证明近似的线性时间距离几何方法，以提升对抗攻击的质量与效率。

提出的方法

• 通过在BLOSUM62距离上限为20个单位的范围内扰动输入蛋白质序列来生成对抗攻击，利用序列比对得分确保生物上合理的改变。
• 定义了一种新的鲁棒性度量，即原始序列与对抗扰动后对应预测的3D结构之间RMSD的倒数。
• 使用距离几何表示蛋白质结构，该方法在刚体变换下保持不变，避免了基于坐标的表示方式带来的伪影。
• 提出一种近似距离几何方法，将计算复杂度从O(n²)降低至O(n)，同时保证至少0.69倍的精确RMSD，并在A100 GPU上实现14倍的速度提升。
• 将该鲁棒性度量与预测结构与真实结构之间的RMSD进行相关性分析，以验证其作为可信度指标的可靠性。
• 使用PyMOL对原始结构与对抗扰动后的结构进行对齐并计算RMSD值，以实现定量评估。

实验结果

研究问题

• RQ1 在RoseTTAFold中，微小但生物上合理的序列扰动能否导致3D蛋白质结构预测结果发生显著差异？
• RQ2 在对抗攻击下，RoseTTAFold的预测鲁棒性在不同蛋白质序列间如何变化？
• RQ3 与基于3D坐标的表示相比，使用距离几何表示是否能提升对抗攻击在蛋白质折叠神经网络上的质量与可靠性？
• RQ4 一种可证明近似的距离几何方法是否能显著降低计算成本，同时保持对抗结构生成的高保真度？
• RQ5 所提出的鲁棒性度量与实际预测准确度（即与真实结构的RMSD）之间的相关性有多高？

主要发现

• RoseTTAFold在鲁棒性方面表现出极端的可变性，在20个BLOSUM62单位的对抗扰动范围内，预测结构的RMSD范围从0.119Å到34.162Å不等。
• 定义为原始预测与扰动后预测之间RMSD倒数的鲁棒性度量，与真实结构RMSD的相关性高达0.917，验证了其作为可信度指标的有效性。
• 基于距离几何的对抗攻击方法生成的对抗结构，其RMSD最高可达基于坐标几何方法的37倍，表明其在检测敏感性方面更具优势。
• 所提出的近似距离几何方法在保证至少69%精确RMSD的同时，将80GB A100 GPU上的运行时间缩短了14倍，兼具高效与高精度。
• 对于某些蛋白质（如SFP1干扰素刺激因子），对抗扰动可导致25.641Å的RMSD变化，表明尽管模型精度高，其结构仍存在高度不稳定性。
• 本研究首次提供了RoseTTAFold存在对抗脆弱性的证据，凸显了在高风险生物AI应用中开展鲁棒性评估的必要性。