[논문 리뷰] Fold2Seq: A Joint Sequence(1D)-Fold(3D) Embedding-based Generative Model for Protein Design

Yue Cao, Payel Das외 4명|PubMed|2021. 06. 24.

Protein Structure and Dynamics참고 문헌 28인용 수 14

한 줄 요약

Fold2Seq는 단백질 설계를 위해 1차원 서열과 3차원 접힘 구조를 동시에 학습하는 새로운 트랜스포머 기반 생성 모델을 제안한다. 이 모델은 접힘 구조를 보간된 2차 구조 요소 밀도로 표현하며, 상태기반 모델 및 RosettaDesign과 비교해도 우수하거나 유사한 성능을 보이며, 낮은 품질, 불완전하거나 모호한 입력에 대해서도 더 뛰어난 커버리지와 강건성을 확보한다.

ABSTRACT

Designing novel protein sequences for a desired 3D topological fold is a fundamental yet nontrivial task in protein engineering. Challenges exist due to the complex sequence-fold relationship, as well as the difficulties to capture the diversity of the sequences (therefore structures and functions) within a fold. To overcome these challenges, we propose <b>Fold2Seq</b>, a novel transformer-based generative framework for designing protein sequences conditioned on a specific target fold. To model the complex sequence-structure relationship, Fold2Seq jointly learns a sequence embedding using a transformer and a fold embedding from the density of secondary structural elements in 3D voxels. On test sets with single, high-resolution and complete structure inputs for individual folds, our experiments demonstrate improved or comparable performance of Fold2Seq in terms of speed, coverage, and reliability for sequence design, when compared to existing state-of-the-art methods that include data-driven deep generative models and physics-based RosettaDesign. The unique advantages of fold-based Fold2Seq, in comparison to a structure-based deep model and RosettaDesign, become more evident on three additional real-world challenges originating from low-quality, incomplete, or ambiguous input structures. Source code and data are available at https://github.com/IBM/fold2seq.

연구 동기 및 목표

• 특정 비드백 골격이 아닌 목표 3차원 접힘 구조로 향하는 다양한 새로운 단백질 서열을 설계하는 데 도전한다.
• 기존의 수작업으로 설계된, 딱딱한, 또는 접힘 내부의 구조 다양성을 포착하지 못하는 접힘 표현 방식의 한계를 극복한다.
• 트랜스포머 기반 오토인코더 프레임워크를 통해 시퀀스와 접힘 임베딩 간의 도메인 이질성을 줄이기 위해 공동 잠재 공간을 학습한다.
• 실제 세계의 불완전하거나 해상도가 낮거나 모호한 구조 입력(예: NMR 엔semble)이 포함된 상황에서의 강건성과 일반화 능력을 향상시킨다.

제안 방법

• 3차원 접힘 구조를 2차 구조 요소(SSE) 밀도의 3차원 바이트 그리드로 표현하여 척도에 의존하지 않고 규칙 없이 공간적 토폴로지를 유지한다.
• 바이트화된 SSE 밀도에 트랜스포머 기반 인코더를 적용하여 접힘 토폴로지를 엔드 투 엔드로 미분 가능한 방식으로 인코딩한다.
• 서열 및 접힘 공간 간 잠재 표현을 정렬하기 위해 도메인 내 및 도메인 간 대비 손실을 사용해 공동 서열-접힘 오토인코더를 훈련한다.
• 학습된 공동 임베딩을 사용해 목표 접힘에 조건부로 단백질 서열을 생성하는 트랜스포머 기반 디코더를 활용한다.
• 여러 개의 NMR 구조에서의 병합된 바이트 특징을 평균 내어 단일 대표 접힘 임베딩을 생성함으로써 앙상블 입력 처리를 가능하게 한다.
• 설계 다양성과 정확도 평가를 위해 새로운 접힘 수준 평가 지표를 도입하였으며, 이는 서열 복구율, 구조 복구율, 커버리지 포함.

실험 결과

연구 질문

• RQ1 학습 가능한 바이트 기반 접힘 표현 방식은 다양한 접힘 토폴로지에서 구조적 토폴로지를 유지하면서도 강건한 단백질 서열 생성을 가능하게 할 수 있는가?
• RQ2 서열과 접힘 표현을 별도로 학습하는 것과 비교해 공동 서열-접힘 임베딩 학습이 성능 향상과 일반화 능력을 어떻게 향상시키는가?
• RQ3 저해상도 또는 불완전한 구조와 같은 실제 문제 상황에서 Fold2Seq가 구조 기반 모델 및 물리 기반 RosettaDesign을 얼마나 뛰어나게 성능을 내는가?
• RQ4 NMR 구조 앙상블을 효과적으로 활용하여 기존의 구조 기반 기준 대비 설계 다양성과 정확도를 향상시킬 수 있는가?
• RQ5 공동 학습 프레임워크는 접힘 내부의 서열 공간 커버리지 향상에 기여하여 더 높은 설계 신선도와 다양성을 나타내는가?

주요 결과

• 고해상도 및 완전한 테스트 구조에서 Fold2Seq는 퍼플렉서티, 서열 복구율, 구조 복구율 측면에서 최신 기술과 유사하거나 뛰어난 성능을 기록한다.
• ID 테스트 세트에서 평균적으로 서열 복구율 0.89, OD 테스트 세트에서 0.86를 기록하며 Graph_trans 및 RosettaDesign을 능가한다.
• Fold2Seq는 접힘 내부에서 뛰어난 커버리지와 더 높은 다양성을 가진 생성 서열을 보이며, 더 높은 설계 창의성과 다양성을 나타낸다.
• 저해상도 구조에서 Fold2Seq는 구조 품질 악화에 덜 민감하며, Graph_trans는 심각하게 성능 저하를 보이는 반면 안정적인 성능 유지를 한다.
• 결손 잔여기가 있는 구조에서 Fold2Seq는 10% 이상의 결손 비율에서 Graph_trans를 능가하며, t-검정에서 p값 < 1E-3을 기록해 통계적으로 유의미하다.
• NMR 앙상블에서는 평균 SSE 밀도를 사용한 Fold2Seq가 개별 NMR 모델을 모두 사용한 Graph_trans보다 더 높은 서열 복구율과 커버리지를 기록하여 더 뛰어난 확장성과 효율성을 입증한다.