[논문 리뷰] Protein Design with Guided Discrete Diffusion

Nate Gruver, Samuel C. Stanton외 7명|arXiv (Cornell University)|2023. 05. 31.

Gene Regulatory Network Analysis인용 수 18

한 줄 요약

논문은 sequence space의 이산 확산에 대한 gradient-guided 샘플링 방법인 diffusioNOS를 소개하고, 이를 다목적 항체 설계를 위한 LaMBO-2와 결합하여 탐색적 in vitro 실험에서 높은 발현과 결합을 달성한다.

ABSTRACT

A popular approach to protein design is to combine a generative model with a discriminative model for conditional sampling. The generative model samples plausible sequences while the discriminative model guides a search for sequences with high fitness. Given its broad success in conditional sampling, classifier-guided diffusion modeling is a promising foundation for protein design, leading many to develop guided diffusion models for structure with inverse folding to recover sequences. In this work, we propose diffusioN Optimized Sampling (NOS), a guidance method for discrete diffusion models that follows gradients in the hidden states of the denoising network. NOS makes it possible to perform design directly in sequence space, circumventing significant limitations of structure-based methods, including scarce data and challenging inverse design. Moreover, we use NOS to generalize LaMBO, a Bayesian optimization procedure for sequence design that facilitates multiple objectives and edit-based constraints. The resulting method, LaMBO-2, enables discrete diffusions and stronger performance with limited edits through a novel application of saliency maps. We apply LaMBO-2 to a real-world protein design task, optimizing antibodies for higher expression yield and binding affinity to several therapeutic targets under locality and developability constraints, attaining a 99% expression rate and 40% binding rate in exploratory in vitro experiments.

연구 동기 및 목표

• Efficient protein design in the discrete sequence space를 Motivate하지 않고 역-folding에 의존하지 않고.
• 표현된 목표를 최적화하기 위해 gradient-guided discrete diffusion 샘플링 방법(NOS)을 개발합니다.
• LaMBO를 NOS 및 saliency-driven edits로-enhance하여 다목적 항체 설계를 수행합니다.
• 현실적인 제약 하에서 항체의 발현 및 결합에 실용적인 개선을 시연합니다.

제안 방법

• NOS (diffusioN Optimized Sampling) to guide discrete diffusion by applying gradients in the denoising network’s hidden states.
• NOS-C (continuous latent space guidance) 및 NOS-D (discrete transition guidance) 두 가지 버전으로 NOS를 공식화합니다.
• 수정된 전이 분포에서 샘플링하기 위해 NOS를 Langevin dynamics와 결합하되 시퀀스 가능성을 보존합니다.
• LaMBO-2에 NOS를 통합하여 MLM 샘플러를 대체하고 다목적 최적화를 위한 편집 위치를 선택하는 만큼 saliency 맵을 사용합니다.
• 부분 심층 앙상블을 사용하여 후방 목표를 추정하고 다목적 최적화를 위한 획득 함수를 사용합니다.
• 영향력 있는 시퀀스 위치에 편집을 집중하기 위한 saliency 기반 편집 위치 선택을 수행합니다.

실험 결과

연구 질문

• RQ1 NOS가 단순 이산 확산에서 시퀀스 가능성과 목표 값 사이의 트레이드오프를 개선할 수 있습니까?
• RQ2 saliency-driven 편집 위치 선택이 항체 설계를 위한 베이지안 최적화의 효율성과 성능을 향상시키나요?
• RQ3 다목적 제약(발현 수율, 결합)을 가진 실제 항체 리드 최적화에서 LaMBO-2가 실리콘 및 시험관 내에서 어떻게 작동하나요?

주요 결과

• NOS가 unguided 및 guided infilling 작업에서 여러 최첨단 구조 기반 및 시퀀스 기반 벤치마크를 능가합니다.
• NOS와 saliency-guided edits를 결합한 LaMBO-2는 제한된 편집으로도 더 강한 성능과 다목적 최적화를 가능하게 합니다.
• 항체 설계 작업에서 LaMBO-2는 자연성 제약을 더 잘 유지하면서 획득 가치 샘플을 더 높게 산출합니다.
• LaMBO-2를 사용한 항체 리드 최적화는 시험관 내에서 4개 타깃에 걸쳐 다수의 submicromolar 바인더를 달성했습니다.
• 탐색적 in vitro 실험은 최적화된 항체의 99% 발현율 및 40% 바인딩율을 보고합니다.