[논문 리뷰] Inverse Protein Folding Using Deep Bayesian Optimization

Natalie Maus, Yimeng Zeng외 6명|arXiv (Cornell University)|2023. 05. 25.

Protein Structure and DynamicsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 목표 단백질 구조에 더 잘 부합하는 단백질 서열을 반복적으로 개선하는 딥 베이지안 최적화 프레임워크인 BO-IF를 제안한다. 소형 47M 파라미터 트랜스포머와 잠재공간 베이지안 최적화를 활용하여, ESM-IF와 같은 최신 생성 모델에 비해 TM 스코어 기준 48% 감소, RMSD 기준 28% 감소한 구조적 오차를 기록하며, 제약 조건 처리 및 다양한 서열 생성 기능을 제공한다.

ABSTRACT

Inverse protein folding -- the task of predicting a protein sequence from its backbone atom coordinates -- has surfaced as an important problem in the "top down", de novo design of proteins. Contemporary approaches have cast this problem as a conditional generative modelling problem, where a large generative model over protein sequences is conditioned on the backbone. While these generative models very rapidly produce promising sequences, independent draws from generative models may fail to produce sequences that reliably fold to the correct backbone. Furthermore, it is challenging to adapt pure generative approaches to other settings, e.g., when constraints exist. In this paper, we cast the problem of improving generated inverse folds as an optimization problem that we solve using recent advances in "deep" or "latent space" Bayesian optimization. Our approach consistently produces protein sequences with greatly reduced structural error to the target backbone structure as measured by TM score and RMSD while using fewer computational resources. Additionally, we demonstrate other advantages of an optimization-based approach to the problem, such as the ability to handle constraints.

연구 동기 및 목표

• 단일 스텝 생성 모델의 역단백질 접힘 한계를 해결하기 위해, 목표 구조로 안정적으로 접힘을 이룰 수 있는 서열을 생성하지 못하는 문제를 해결한다.
• 더 높은 구조 정확도를 확보하기 위해 단백질 서열을 반복적으로 개선할 수 있는 최적화 기반 접근법을 개발한다.
• 서열 인간성 및 구조적 다양성과 같은 실용적 제약 조건을 역접힘에 통합한다.
• 베이지안 최적화와 함께 작은 효율적인 언어 모델을 사용하여 계산 비용을 줄인다.

제안 방법

• 역접힘 문제를 블랙박스 최적화 문제로 설정하며, 목표 기저 구조와 생성된 서열의 예측 접힘 간의 구조 유사도(예: TM 스코어 또는 RMSD)를 측정하는 목적 함수를 정의한다.
• 작은 47M 파라미터 트랜스포머 모델을 사용해 초깃값으로 서열을 생성하고, 잠재공간 베이지안 최적화(BO)를 활용해 단백질 서열 공간을 효율적으로 탐색한다.
• 획득 함수를 사용해 유망한 서열을 선택하고 반복적으로 개선함으로써 고비용 접힘 평가 수를 줄인다.
• 최소 인간성 스코어 80% 등의 블랙박스 제약 조건을 제약 베이지안 최적화를 통해 처리한다.
• 최소 편집 거리 제약 조건을 최적화하는 ROBOT 기법을 통합해 다양한 서열 생성을 지원한다.
• 전체 파ip라인은 BoTorch와 같은 표준 라이브러리를 사용해 구현되었으며, https://github.com/nataliemaus/bo-if 에 공개되어 있다.

Figure 1: Different target backbones (blue) inverse folded by ESM-IF (yellow) and Bayesian optimization (pink). Our method, BO-IF , consistently finds proteins that better match the target structure as evidenced visually by the better alignment and by the higher TM-scores achieved. Arrows indicate e

실험 결과

연구 질문

• RQ1 베이지안 최적화가 단일 스텝 생성 모델보다 목표 기저 구조에 더 높은 정확도로 접힘하는 단백질 서열을 생성하는 데서 우월한 성능을 보일 수 있는가?
• RQ2 최적화 기반 접근법은 구조적 오차(TM 스코어 및 RMSD)와 계산 효율성 측면에서 생성 모델과 비교해 어떻게 성능을 내는가?
• RQ3 최적화 프레임워크는 단백질의 이식성 위험을 줄이기 위해 서열 인간성과 같은 생물학적 제약 조건을 효과적으로 통합할 수 있는가?
• RQ4 이 방법은 서열이 크게 다를 수록 목표 구조적 유사성을 유지하는 다각적인 단백질 서열을 얼마나 잘 생성할 수 있는가?
• RQ5 제약 조건을 고려하거나 다양한 서열 세트를 최적화할 때 계산 비용 측면에서 이 방법은 어떻게 스케일링되는가?

주요 결과

• 80% 이상의 인간성 제약 조건 하에서 ESM-IF 대비 평균 구조적 오차가 TM 스코어 기준 48.364% (±9.480%) 감소하고, RMSD 기준 34.454% (±7.082%) 감소했다.
• 작은 모델을 사용함에도 불구하고 효율적인 순차적 최적화 덕분에 병렬 생성과 유사한 종합 계산 비용(약 50 GPU 시간)을 기록했다.
• ESM-IF가 생성한 서열 중 인간성 기준을 충족하고 TM 스코어 > 0.8를 확보한 비율은 0.2%에 불과했으나, BO-IF는 동일한 조건에서 성공률을 크게 향상시켰다.
• 서열 간 편집 거리 ≥20인 다각적 서열 생성 조건에서, BO-IF는 ESM-IF 대비 평균 구조적 오차를 TM 스코어 기준 48.640% (±8.003%) 감소하고, RMSD 기준 33.617% (±5.520%) 감소시켰다.
• 목표 구조당 5개 및 10개의 서열 세트를 다각적으로 생성하는 데 성공했으며, 모든 목표 구조에서 일관된 구조 정확도 향상 효과를 보였다.
• 복잡한 설계 목표, 즉 제약 조건 처리 및 다목적 최적화에 대해 강력한 일반화 성능를 보이며, 낮은 계산 오버헤드를 유지했다.

Figure 2: Error in backbone structures computationally folded from inverse folds as measured by 1-TM score (computed by TM-align ) across 24 target protein backbones. On average, optimization reduces structural error by 48% (standard error $\pm$ 0.69%). This corresponds to RMSD reduction of 28% (sta