[论文解读] Improving Protein Optimization with Smoothed Fitness Landscapes

Andrew Kirjner, Jason Yim+5 more|arXiv (Cornell University)|Jul 2, 2023

Genomics and Phylogenetic StudiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

该论文提出了一种基于图平滑的吉布斯采样方法（Gibbs Sampling with Graph-based Smoothing, GGS），通过图信号处理与蒂昆诺夫正则化，对噪声 fitness landscape 进行平滑处理，从而提升蛋白质优化性能。在体外模拟评估中，GGS 相较于训练集实现了 2.5 倍的 fitness 提升，在 GFP 和 AAV 基准测试中优于先前方法，其核心在于结合了平滑的能量模型与梯度引导的吉布斯采样。

ABSTRACT

The ability to engineer novel proteins with higher fitness for a desired property would be revolutionary for biotechnology and medicine. Modeling the combinatorially large space of sequences is infeasible; prior methods often constrain optimization to a small mutational radius, but this drastically limits the design space. Instead of heuristics, we propose smoothing the fitness landscape to facilitate protein optimization. First, we formulate protein fitness as a graph signal then use Tikunov regularization to smooth the fitness landscape. We find optimizing in this smoothed landscape leads to improved performance across multiple methods in the GFP and AAV benchmarks. Second, we achieve state-of-the-art results utilizing discrete energy-based models and MCMC in the smoothed landscape. Our method, called Gibbs sampling with Graph-based Smoothing (GGS), demonstrates a unique ability to achieve 2.5 fold fitness improvement (with in-silico evaluation) over its training set. GGS demonstrates potential to optimize proteins in the limited data regime. Code: https://github.com/kirjner/GGS

研究动机与目标

• 解决在高维、噪声大且稀疏的 fitness landscape 中，因实验数据有限而导致的蛋白质优化挑战。
• 通过平滑 fitness landscape 降低噪声并避免陷入局部最优，从而提升蛋白质设计性能。
• 开发一种在数据有限条件下，利用基于图的正则化实现高效优化的方法。
• 通过新颖的平滑与梯度采样结合策略，在 GFP 和 AAV 蛋白质优化基准测试中实现最先进性能。

提出的方法

• 将蛋白质序列建模为图结构，其中节点代表序列，边代表序列间的相似性，fitness 值作为节点属性。
• 应用蒂昆诺夫正则化，利用图拉普拉斯矩阵对 fitness landscape 进行平滑，降低噪声并增强数据中的信号。
• 在平滑后的 fitness landscape 上训练神经网络，构建用于优化的离散能量模型。
• 使用带梯度的吉布斯采样（Gibbs With Gradients, GWG）迭代采样突变，利用模型梯度偏好提升 fitness 的变化。
• 通过梯度引导的突变提议进行迭代采样，引导轨迹向更高 fitness 的序列演化。
• 优化超参数，包括图大小、平滑权重 γ 和采样轮数，以在性能与收敛性之间取得平衡。

Figure 1: Overview. (A) Protein optimization is challenging due to a noisy fitness landscape where the starting dataset (unblurred) is a fraction of the landscape with the highest fitness sequences hidden (blurred). (B) We develop Graph-based Smoothing (GS) to estimate a smoothed fitness landscape f

实验结果

研究问题

• RQ1 在存在噪声和数据有限的情况下，基于图的 protein fitness landscape 平滑是否能提升优化性能？
• RQ2 对 fitness landscape 进行平滑处理，如何影响蛋白质设计中机器学习模型的泛化能力与预测准确性？
• RQ3 与基线方法相比，将平滑的能量模型与梯度引导采样（GWG）结合，能在多大程度上提升 fitness 改进？
• RQ4 哪些超参数（如图大小和平滑强度）对优化性能影响最大？
• RQ5 在真实数据约束下，该方法能否在 GFP 和 AAV 等真实世界蛋白质基准上实现最先进性能？

主要发现

• 在体外模拟评估中，GGS 实现了相较于训练集 2.5 倍的 predicted fitness 提升，展现出强大的外推能力。
• 平滑显著提升了泛化性能：尽管仅使用 4% 的数据并经过严格筛选，平滑后的模型仍与评估者评分高度相关。
• 最优图大小为 250,000 个节点，可在近似精度与计算成本之间实现良好平衡。
• 过度平滑（γ = 10.0）在 AAV 上导致性能下降，表明 γ 需根据不同的 fitness landscape 精细调优。
• 在平滑的 landscape 上，该方法在 15 次采样轮内完成收敛，且在 GFP 和 AAV 任务中，温度 τ = 0.1 时性能最佳。
• 平滑不仅提升了 GGS，也显著改善了基线方法，部分基线方法提升最高达三倍，凸显了 landscape 平滑的广泛适用性。

Figure 2: Steps in graph-based smoothing on proteins illustrated with a fictitious data of length 2 sequences with vocabulary $\{A,B\}$ . Above each node are corresponding fitness values. Solid nodes are those in our training set while dashed nodes are augmented via point mutations to increase the s