[论文解读] A Pareto-optimal compositional energy-based model for sampling and optimization of protein sequences

Nataša Tagasovska, Nathan C. Frey+10 more|arXiv (Cornell University)|Oct 19, 2022

vaccines and immunoinformatics approaches被引用 4

一句话总结

本文提出了一种Pareto组合能量模型（pcEBM），通过将多目标优化与组合能量建模相结合，实现同时满足多个相互冲突目标的蛋白质序列采样。该方法在收敛速度和Pareto前沿覆盖方面优于基线模型，生成了多样且高质量的抗体序列，其在结合亲和力、多反应性及黏度方面均表现优异。

ABSTRACT

Deep generative models have emerged as a popular machine learning-based approach for inverse design problems in the life sciences. However, these problems often require sampling new designs that satisfy multiple properties of interest in addition to learning the data distribution. This multi-objective optimization becomes more challenging when properties are independent or orthogonal to each other. In this work, we propose a Pareto-compositional energy-based model (pcEBM), a framework that uses multiple gradient descent for sampling new designs that adhere to various constraints in optimizing distinct properties. We demonstrate its ability to learn non-convex Pareto fronts and generate sequences that simultaneously satisfy multiple desired properties across a series of real-world antibody design tasks.

研究动机与目标

• 解决生成满足多个相互冲突的生物学特性（如结合亲和力、多反应性及黏度）的蛋白质序列的挑战。
• 开发一种生成模型，能够从这些特性的最优权衡Pareto前沿采样，而非仅优化单一目标。
• 提升多目标蛋白质序列优化中的采样效率与多样性，特别是在目标正交或非凸的情况下。
• 实现对新型抗体序列的可控且引导式生成，确保其兼具功能性和可开发性，降低下游开发中的失败风险。
• 提供一种可推广、模块化的框架，适用于涉及多项目标的其他分子设计问题。

提出的方法

• pcEBM框架将每个目标对应的能量模型（EBM）的多个梯度下降步骤整合到单一组合采样过程中。
• 采用组合能量函数，定义为各特定属性EBM的总和，每个EBM分别训练以建模特定的生物特性。
• 采样过程应用多梯度更新规则，同时最小化所有目标的能量，从而实现向Pareto最优解的收敛。
• 该方法采用局部下降（LD）策略以提升Pareto前沿的覆盖度，避免过早收敛至次优区域。
• 采用步长调度策略以在收敛速度与稳定性之间取得平衡，消融实验验证了其对性能的影响。
• 该方法在合成数据与真实抗体设计任务中均进行了评估，包括从初始性质较差的“种子”序列出发进行序列优化。

实验结果

研究问题

• RQ1 组合能量模型能否有效采样出在多个冲突目标（如结合亲和力与可开发性）上均达到Pareto最优的蛋白质序列？
• RQ2 与标准多目标基线相比，所提出的pcEBM在收敛速度、Pareto前沿覆盖度及序列质量方面表现如何？
• RQ3 当作为优化工具使用时，pcEBM在改善现有抗体序列方面能多大程度上提升其性质，特别是降低非特异性结合（BV评分）？
• RQ4 在采样过程中集成局部下降（LD）是否相比标准梯度下降或直接LD，能带来更优的Pareto前沿探索效果？
• RQ5 该模型能否在不同类型蛋白质设计任务中实现泛化，并在不同超参数设置下保持性能？

主要发现

• pcEBM的收敛速度优于cEBM，能量得分随采样步数的衰减曲线显示，0.01步长可实现稳定且快速的改进。
• 与MGD和cEBM基线相比，该方法生成的Pareto前沿更宽广且更具多样性，显著提升了超体积并更接近训练数据分布。
• pcEBM在不同步长下均表现出更高的超体积与更低的编辑距离及目标得分方差，表明其具备鲁棒性与稳定性。
• 在优化现有抗体序列方面，pcEBM与MGD将平均BV评分从0.27提升至0.9以上，优于cEBM，显示出在降低非特异性结合方面的强大性能。
• t-SNE可视化结果表明，pcEBM成功将序列从低BV（红色）区域迁移至高BV（蓝色）区域，证实了其在优化非特异性结合方面的有效性。
• 在pcEBM中引入局部下降（LD）相比直接LD，实现了更优的Pareto前沿覆盖，验证了多梯度组合在探索中的优势。