[논문 리뷰] Graph Denoising Diffusion for Inverse Protein Folding

Kai Yi, Bingxin Zhou외 3명|arXiv (Cornell University)|2023. 06. 29.

Protein Structure and Dynamics인용 수 20

한 줄 요약

GraDe-IF는 주어진 단백질 백본으로 접혀들 수 있는 다양한 아미노산 서열을 생성하기 위해 이산 그래프 디노이즈 확산 모델을 도입하여 최첨단 회복률을 달성하고 진화 우선순위 및 이차 구조에 의해 안내되는 다양한 서열 설계를 가능하게 한다.

ABSTRACT

Inverse protein folding is challenging due to its inherent one-to-many mapping characteristic, where numerous possible amino acid sequences can fold into a single, identical protein backbone. This task involves not only identifying viable sequences but also representing the sheer diversity of potential solutions. However, existing discriminative models, such as transformer-based auto-regressive models, struggle to encapsulate the diverse range of plausible solutions. In contrast, diffusion probabilistic models, as an emerging genre of generative approaches, offer the potential to generate a diverse set of sequence candidates for determined protein backbones. We propose a novel graph denoising diffusion model for inverse protein folding, where a given protein backbone guides the diffusion process on the corresponding amino acid residue types. The model infers the joint distribution of amino acids conditioned on the nodes' physiochemical properties and local environment. Moreover, we utilize amino acid replacement matrices for the diffusion forward process, encoding the biologically-meaningful prior knowledge of amino acids from their spatial and sequential neighbors as well as themselves, which reduces the sampling space of the generative process. Our model achieves state-of-the-art performance over a set of popular baseline methods in sequence recovery and exhibits great potential in generating diverse protein sequences for a determined protein backbone structure.

연구 동기 및 목표

• 고정된 백본에 대해 다양한 실행 가능한 아미노산 서열을 생성함으로써 역단백질 폴딩의 일대다 매핑을 해결한다.
• 백본 구조 및 환경에 조건화된 다모드 서열 분포를 포착하기 위해 확산 모델을 활용한다.
• 생물학적으로 의미 있는 우선순위(BLOSUM)와 이차 구조를 도입하여 확산 및 샘플링을 제약한다.
• 로토-평행 등각 그래프 신경망을 이용해 디노이징 중 기하학적 및 화학 정보를 보존한다.

제안 방법

• 단백질 잔기 그래프에서 이산 그래프 디노이즈 확산 프로세스로 역 folding 작업을 모델링한다.
• 생물학적으로 타당한 치환으로의 sampling을 안내하고 forward diffusion을 주도하기 위해 BLOSUM 기반 전이 행렬을 사용한다.
• SE(3)-등각 그래프 신경망을 통해 그래프 구조, 이차 구조 및 국부 환경으로 디노이저를 조건화한다.
• 이산 확산 설정에서 추론 속도를 높이기 위해 DDIM 영감의 결정적 샘플링을 적용한다.
• 학습 과정에서 AA 타입 예측에 대한 cross-entropy 손실로 디노이징 매핑을 학습한다.

Figure 1: Overview of GraDe-IF . In the diffusion process, the original amino acid is stochastically transitioned to other amino acids, leveraging BLOSUM with varied temperatures as the transition kernel. During the denoising generation phase, initial node features are randomly sampled across the 20

실험 결과

연구 질문

• RQ1 확산 기반 생성 모델이 고정된 단백질 백본에 대해 native 아미노산 서열을 보다 정확하게 회복할 수 있는가? 이를 판별적 기준선보다 나은가?
• RQ2 이차 구조 및 국부 환경에 조건화를 하면 생성 서열의 생물학적 타당성과 접힘 가능성이 향상되는가?
• RQ3 생물학적으로 의미 있는 우선순위(BLOSUM)를 도입하면 다양성을 유지하면서 샘플링 공간이 축소되는가?
• RQ4 같은 백본에 대해 여러 서열을 생성할 때 다양성-접힘 가능성의 트레이드오프는 어떠한가?

주요 결과

• GraDe-IF는 CATH 기반 벤치마크에서 최첨단 회복률을 달성했으며, 단일 사슬 단백질의 경우 강력한 기준선 대비 4.2%, 짧은 서열의 경우 5.4%의 개선을 보였다.
• 생성된 서열은 native와 매우 유사한 구조로 접히며, 선택된 케이스에서 AlphaFold2 예측 구조가 native에 대해 RMSD가 낮은(~1 Å) 것으로 나타났다.
• 샘플링 스텝을 조정하면 다양성을 높일 수 있으며(더 낮은 스텝이 더 다양한 서열을 생성), TM 점수 및 pLDDT와 같은 높은 접힘 가능성 지표를 유지한다.
• 보존된 코어 잔류물은 표면 잔류물보다 회복률이 높게 나타나며, 회복은 잔류물 접촉 수 및 이차 구조 맥락과 상관관계가 있다.
• 모델은 생물학적으로 타당한 서열을 생성하여 접힘 가능성 평가(TM 점수, pLDDT, RMSD)로 구조적 완전성을 유지하고 있음을 보여준다.

Figure 2: The middle two panels depict the transition probability of Leucine (L) from $t=0$ to $T$ . Both the uniform and BLOSUM start as Dirichlet distributions and become uniform at time $T$ . As shown in the two side figures, while the uniform matrix evenly disperses L’s probability to other AAs