[논문 리뷰] Protein structure generation via folding diffusion

Kevin Wu, Kevin Yang외 4명|arXiv (Cornell University)|2022. 09. 30.

Protein Structure and Dynamics인용 수 34

한 줄 요약

FoldingDiff는 잔당당 여섯 개의 내부 각을 디노이즈링하여 단백질 백본 구조를 생성하는 확산 기반 모델로, Cartesian 좌표와 등가 변환 네트워크를 피하고, 현실적이며 설계 가능한 백본을 산출한다.

ABSTRACT

The ability to computationally generate novel yet physically foldable protein structures could lead to new biological discoveries and new treatments targeting yet incurable diseases. Despite recent advances in protein structure prediction, directly generating diverse, novel protein structures from neural networks remains difficult. In this work, we present a new diffusion-based generative model that designs protein backbone structures via a procedure that mirrors the native folding process. We describe protein backbone structure as a series of consecutive angles capturing the relative orientation of the constituent amino acid residues, and generate new structures by denoising from a random, unfolded state towards a stable folded structure. Not only does this mirror how proteins biologically twist into energetically favorable conformations, the inherent shift and rotational invariance of this representation crucially alleviates the need for complex equivariant networks. We train a denoising diffusion probabilistic model with a simple transformer backbone and demonstrate that our resulting model unconditionally generates highly realistic protein structures with complexity and structural patterns akin to those of naturally-occurring proteins. As a useful resource, we release the first open-source codebase and trained models for protein structure diffusion.

연구 동기 및 목표

• 새롭고 접히는 단백질 백본의 컴퓨테이션적 생성에 동기를 부여한다.
• 모델링을 단순화하기 위한 생물학적으로 영감을 받은 각도 표현을 도입한다.
• 현실적인 백본 구조의 무조건적 생성의 시연한다.
• 역도식(inverse folding)과 구조 예측 도구를 사용하여 생성된 구조의 설계 가능성을 보여준다.
• 단백질 접힘 확산 모델용 오픈 소스 코드와 학습된 모델을 공개한다.

제안 방법

• 각 잔당을 여섯 개의 연속적인 백본 각도(phi, psi, omega, theta1, theta2, theta3)로 표현하여 사슬의 다음 잔당을 지정한다.
• 각도 데이터에 대해 pξ(xt−1|xt)를 모델링하기 위해 일반(transformer) 모델을 갖춘 디노이징 확산 확률 모델(확산 모델)을 사용한다.
• 전향(Forward) 과정은 각도 데이터에 대해 감싼 가우시안 노이즈를 사용하고, 역방향(Reverse) 과정은 노이즈에서 구조화된 각도로 디노이즈한다.
• 각도 출력을 [-π, π)로 감싸고 주기성을 처리하기 위해 포장된 스무스 L1 손실을 적용한다.
• CATH 중복 제거된 백본 데이터 세트에 대해 80/10/10 스플릿과 128-잔당 창(windowing)으로 학습하며, T=1000인 코사인 분산 스케줄과 AdamW 옵티마이저를 사용한다.
• 언폴드(unfolded) 상태에서 접힌 상태로 각을 반복적으로 정제하는 샘플링 절차(FoldingDiff)를 제공한다.

실험 결과

연구 질문

• RQ1 무조건적 확산이 단백질 백본 각의 현실적인 분포를 생성할 수 있는가?
• RQ2 생성된 각 구성은 Ramachandran 공간에서 자연스러운 2차 구조 모티프(예: 나선, 시트)에 해당하는가?
• RQ3 생성된 백본은 설계 가능자인가, 즉 역포뮬레이션과 구조 예측을 통해 서열로 실현될 수 있는가?
• RQ4 내부 각 표현을 사용한 것이 생성에서의 손리(chirality)와 등가성(equivariance) 요구에 미치는 영향은 무엇인가?

주요 결과

• 생성된 각 분포는 여섯 개 각도 전체에 대해 테스트 세트 분포와 거의 일치한다.
• Ramachandran 분석은 생성된 백본이 세 가지 주요 영역(오른손 나선, 왼손 나선, 베타 시트)을 모두 재현하고 카이랄성을 존중함을 보여준다.
• 177 of 780 generated backbones are designable (scTM ≥ 0.5) using ProteinMPNN and OmegaFold (22.7%).
• 설계 가능성은 길이에 따라 달라지며, 짧은 구조(≈70 잔당)일수록 설계 가능성이 높은 경향이 있다.
• 생성된 백본은 훈련 데이터와 더 비슷할수록 설계 가능성이 높아지는 경향이 있다(훈련 세트에 대한 TM-score가 더 높다).
• 생성된 백본 다양성은 높으며 거의 기억된 예제에 한정되지 않고 광범위한 구조적 다양성을 시사한다.