[논문 리뷰] Improving Protein Optimization with Smoothed Fitness Landscapes

Andrew Kirjner, Jason Yim외 5명|arXiv (Cornell University)|2023. 07. 02.

Genomics and Phylogenetic StudiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 그래프 신호 처리와 Tikunov 정규화를 활용해 노이즈가 많은 피트니스 지도를 스무딩하는 그래프 기반 스무딩을 통한 기계적 샘플링(GGS)을 제안한다. GGS는 시뮬레이션 환경에서 훈련 세트 대비 2.5배의 피트니스 향상을 달성하며, 에너지 기반 모델과 기울기 지도 샘플링을 조합함으로써 GFP 및 AAV 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

The ability to engineer novel proteins with higher fitness for a desired property would be revolutionary for biotechnology and medicine. Modeling the combinatorially large space of sequences is infeasible; prior methods often constrain optimization to a small mutational radius, but this drastically limits the design space. Instead of heuristics, we propose smoothing the fitness landscape to facilitate protein optimization. First, we formulate protein fitness as a graph signal then use Tikunov regularization to smooth the fitness landscape. We find optimizing in this smoothed landscape leads to improved performance across multiple methods in the GFP and AAV benchmarks. Second, we achieve state-of-the-art results utilizing discrete energy-based models and MCMC in the smoothed landscape. Our method, called Gibbs sampling with Graph-based Smoothing (GGS), demonstrates a unique ability to achieve 2.5 fold fitness improvement (with in-silico evaluation) over its training set. GGS demonstrates potential to optimize proteins in the limited data regime. Code: https://github.com/kirjner/GGS

연구 동기 및 목표

• 제한된 실험 데이터로 인해 고차원적이고 노이즈가 많으며 희소한 피트니스 지도에서 단백질을 최적화하는 데 도전하는 것.
• 피트니스 지도를 스무딩하여 노이즈를 줄이고 局부 최적해를 피하는 단백질 설계를 향상시키는 것.
• 그래프 기반 정규화를 사용해 데이터가 제한된 환경에서도 효과적인 최적화를 가능하게 하는 방법을 개발하는 것.
• 에너지 기반 모델과 기울기 지도 샘플링의 새로운 조합을 통해 GFP 및 AAV 단백질 최적화 벤치마크에서 최첨단 성능을 입증하는 것.

제안 방법

• 노드가 단백질 서열을, 간선이 유사도를 나타내는 그래프로 단백질 서열을 표현하며, 피트니스 값은 노드 속성으로 설정한다.
• 그래프 라플라시안을 사용해 Tikunov 정규화를 적용하여 피트니스 지도를 스무딩함으로써 노이즈를 감소시키고 신호를 강화한다.
• 스무딩된 피트니스 지도에서 신경망을 훈련시켜 최적화를 위한 이산 에너지 기반 모델을 구축한다.
• 기울기 지도 기반 기계적 샘플링(GWG)을 사용해 모델 기울기를 활용해 변이를 반복적으로 샘플링하며, 피트니스 향상 변화를 선호한다.
• 기울기 지도 기반 변이 제안을 통해 반복적인 샘플링을 수행하여 고피트니스 서열로의 경로를 이끌어낸다.
• 성능과 수렴성 간 균형을 맞추기 위해 그래프 크기, 스무딩 가중치 γ, 샘플링 라운드 수 등의 초모수를 최적화한다.

Figure 1: Overview. (A) Protein optimization is challenging due to a noisy fitness landscape where the starting dataset (unblurred) is a fraction of the landscape with the highest fitness sequences hidden (blurred). (B) We develop Graph-based Smoothing (GS) to estimate a smoothed fitness landscape f

실험 결과

연구 질문

• RQ1 그래프 기반 스무딩이 노이즈와 제한된 데이터가 존재하는 상황에서 최적화 성능을 향상시키는가?
• RQ2 피트니스 지도를 스무딩하면 단백질 설계에서 기계학습 모델의 일반화 및 예측 정확도에 어떤 영향을 미치는가?
• RQ3 스무딩된 에너지 기반 모델과 기울기 지도 샘플링(GWG)을 조합했을 때 기준 방법 대비 피트니스 향상에 얼마나 기여하는가?
• RQ4 그래프 크기나 스무딩 강도와 같은 초모수 중 최적화 성능에 가장 큰 영향을 미치는 것은 무엇인가?
• RQ5 실제 단백질 벤치마크인 GFP 및 AAV에서 현실적인 데이터 제약 조건 하에서도 제안된 방법이 최첨단 성능을 달성할 수 있는가?

주요 결과

• GGS는 시뮬레이션 평가에서 훈련 세트 대비 예측된 피트니스가 2.5배 향상되어 강력한 외삽 능력을 입증했다.
• 스무딩은 일반화를 크게 향상시켰다: 하드 필터링을 거친 4%의 데이터로만 훈련된 스무딩 모델도 평가자 점수와 높은 상관관계를 보였다.
• 최적의 그래프 크기는 250,000개 노드로, 근사 정확도와 계산 비용 간의 균형을 맞추는 데 적합했다.
• 너무 많은 스무딩(γ = 10.0)은 AAV에서 성능을 떨어뜨렸으며, 이는 γ 값을 피트니스 지도에 따라 신중히 조정해야 함을 시사한다.
• 부드러운 지도에서는 15라운드 내로 수렴했고, 온도 τ = 0.1이 GFP 및 AAV 작업 전반에서 최고의 성능을 보였다.
• 스무딩은 GGS 뿐 아니라 기준 방법의 성능 또한 향상시켰으며, 일부는 최대 3배의 향상을 보였고, 이는 지도 스무딩의 광범위한 유용성을 입증한다.

Figure 2: Steps in graph-based smoothing on proteins illustrated with a fictitious data of length 2 sequences with vocabulary $\{A,B\}$ . Above each node are corresponding fitness values. Solid nodes are those in our training set while dashed nodes are augmented via point mutations to increase the s