[论文解读] Inverse Protein Folding Using Deep Bayesian Optimization

Natalie Maus, Yimeng Zeng+6 more|arXiv (Cornell University)|May 25, 2023

Protein Structure and DynamicsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

该论文提出 BO-IF，一种用于逆向蛋白质折叠的深度贝叶斯优化框架，通过迭代优化蛋白序列以更匹配目标骨架结构。通过利用一个仅 4700 万参数的变换器模型与潜在空间贝叶斯优化，相较于最先进的生成模型（如 ESM-IF），其在 TM 评分上将结构误差降低 48%，在 RMSD 上降低 28%，同时支持约束处理与多样化序列生成，计算成本极低。

ABSTRACT

Inverse protein folding -- the task of predicting a protein sequence from its backbone atom coordinates -- has surfaced as an important problem in the "top down", de novo design of proteins. Contemporary approaches have cast this problem as a conditional generative modelling problem, where a large generative model over protein sequences is conditioned on the backbone. While these generative models very rapidly produce promising sequences, independent draws from generative models may fail to produce sequences that reliably fold to the correct backbone. Furthermore, it is challenging to adapt pure generative approaches to other settings, e.g., when constraints exist. In this paper, we cast the problem of improving generated inverse folds as an optimization problem that we solve using recent advances in "deep" or "latent space" Bayesian optimization. Our approach consistently produces protein sequences with greatly reduced structural error to the target backbone structure as measured by TM score and RMSD while using fewer computational resources. Additionally, we demonstrate other advantages of an optimization-based approach to the problem, such as the ability to handle constraints.

研究动机与目标

• 为解决单次生成模型在逆向蛋白质折叠中的局限性，这些模型通常无法可靠生成能折叠为目标结构的序列。
• 开发一种基于优化的方法，实现蛋白序列的迭代优化，以提高结构准确性。
• 在逆向折叠中整合实际约束，如序列人源性与结构多样性。
• 通过结合小型高效语言模型与贝叶斯优化，降低计算成本。

提出的方法

• 该方法将逆向折叠建模为黑箱优化问题，其中目标函数通过 TM 评分或 RMSD 衡量生成序列的预测折叠与目标骨架之间的结构相似性。
• 采用潜在空间贝叶斯优化（BO）高效搜索蛋白序列空间，使用一个仅 4700 万参数的变换器模型生成初始序列。
• 优化流程利用采集函数选择有前景的序列进行迭代优化，从而减少昂贵的折叠评估次数。
• 通过约束贝叶斯优化，将该方法扩展以处理黑箱约束（例如，最低人源性得分为 80%）。
• 通过集成 ROBOT 方法（一种针对最小编辑距离约束的优化方法），支持多样化序列生成。
• 整个流程使用 BoTorch 等标准库实现，并在 https://github.com/nataliemaus/bo-if 公开提供。

Figure 1: Different target backbones (blue) inverse folded by ESM-IF (yellow) and Bayesian optimization (pink). Our method, BO-IF , consistently finds proteins that better match the target structure as evidenced visually by the better alignment and by the higher TM-scores achieved. Arrows indicate e

实验结果

研究问题

• RQ1 贝叶斯优化能否在生成能折叠为目标骨架结构的蛋白序列方面，优于单次生成模型，实现更高的准确性？
• RQ2 与生成模型相比，该基于优化的方法在结构误差（TM 评分与 RMSD）和计算效率方面表现如何？
• RQ3 该优化框架能否有效整合生物约束（如序列人源性），以降低治疗性蛋白的免疫原性风险？
• RQ4 该方法在保持目标结构相似性的同时，能在多大程度上生成在序列上显著不同的多样化蛋白序列？
• RQ5 当在约束条件下或针对多样化序列集合进行优化时，该方法的计算成本如何扩展？

主要发现

• 在人源性约束不低于 80% 的条件下，与 ESM-IF 相比，BO-IF 在 TM 评分上将平均结构误差降低了 48.364%（±9.480%），在 RMSD 上降低了 34.454%（±7.082%）。
• 尽管模型规模小得多，但通过高效的顺序优化，该方法在端到端计算成本（约 50 个 GPU 小时）上与并行生成相当。
• 仅有 0.2% 的 ESM-IF 生成序列同时满足人源性阈值与 TM 评分 > 0.8，而 BO-IF 在相同约束下显著提升了成功率。
• 在成对编辑距离 ≥20 的多样化序列生成条件下，与 ESM-IF 相比，BO-IF 在 TM 评分上将平均结构误差降低了 48.640%（±8.003%），在 RMSD 上降低了 33.617%（±5.520%）。
• 优化流程成功为每个目标结构生成了包含 5 个和 10 个序列的多样化集合，且在所有目标上均一致提升了结构准确性。
• 该方法在复杂设计目标（包括约束处理与多目标优化）上表现出强大的泛化能力，同时保持了较低的计算开销。

Figure 2: Error in backbone structures computationally folded from inverse folds as measured by 1-TM score (computed by TM-align ) across 24 target protein backbones. On average, optimization reduces structural error by 48% (standard error $\pm$ 0.69%). This corresponds to RMSD reduction of 28% (sta