[논문 리뷰] SE(3) diffusion model with application to protein backbone generation

Jason Yim, Brian L. Trippe외 5명|arXiv (Cornell University)|2023. 02. 05.

Protein Structure and Dynamics인용 수 71

한 줄 요약

이 논문은 pretrained structure predictors 없이 다중 프레임에서 SE(3) 불변 확산 모델인 FrameDiff를 개발하여 최대 500개의 잔기로 설계 가능한 모노머를 달성한다.

ABSTRACT

The design of novel protein structures remains a challenge in protein engineering for applications across biomedicine and chemistry. In this line of work, a diffusion model over rigid bodies in 3D (referred to as frames) has shown success in generating novel, functional protein backbones that have not been observed in nature. However, there exists no principled methodological framework for diffusion on SE(3), the space of orientation preserving rigid motions in R3, that operates on frames and confers the group invariance. We address these shortcomings by developing theoretical foundations of SE(3) invariant diffusion models on multiple frames followed by a novel framework, FrameDiff, for learning the SE(3) equivariant score over multiple frames. We apply FrameDiff on monomer backbone generation and find it can generate designable monomers up to 500 amino acids without relying on a pretrained protein structure prediction network that has been integral to previous methods. We find our samples are capable of generalizing beyond any known protein structure.

연구 동기 및 목표

• 여러 프레임으로 기술된 백본에 대한 원칙적인 SE(3) 불변 확산 프레임워크를 개발한다 (SE(3)^N).
• SE(3)와 그 리 군 구조 위에서 순방향 및 역방향 확산 과정을 이론적으로 도출하여 DSM 학습을 가능하게 한다.
• 이 이론을 SE(3) 등가 점수 네트워크를 갖춘 실용적인 백본 생성 모델(FrameDiff)로 번역한다.
• 사전 학습된 구조 예측기에 의존하지 않고 최대 500개의 아미노산으로 설계 가능한 단백질 모노머를 시연한다.
• 생성 다양성을 유지하면서 사전 학습 기반 대조군과 비교되는 컴페티티브한 인 실리코 설계 가능성을 보인다.

제안 방법

• 회전(SO(3))과 병진(R^3)을 분리하고 중심화된 SE(3)^N 프로세스를 사용하여 SE(3)에서 순방향 확산을 구성한다.
• 작은 리 군에서 DSM 학습을 도출하되, SO(3)에 대한 명시적 브라운 운동과 열 커널 표현을 포함한다.
• SE(3)^N을 중심화하여 중심화된 SE(3)^N_0 형태로 SE(3) 불변성을 달성하고 이를 SO(3) 등가 네트워크에 투영한다.
• FrameDiff를 도입한다. AlphaFold2 스타일의 구조 모듈과 IPA 및 Transformer 구성 요소를 갖춘 신경 점수 네트워크를 사용한 백본용 SE(3) 불변 확산 모델이다.
• 프레임 업데이트와 비틀림 각도 psi를 모두 예측하고, 보조 바리센터릭 유사 백본 및 국소 거리 손실을 사용하여 미세 기하학을 개선한다.

Figure 1: Method overview. (A) Backbone parameterization with frames. Each residue along the protein chain shares the same structure of backbone atoms due to the fixed bonds between each atom. Performing the GramSchmidt operation on vectors $v_{1},v_{2}$ results in rotation matrix $r$ that parameter

실험 결과

연구 질문

• RQ1 SE(3) 불변 확산이 다중 백본 프레임에서 단백질 백본을 모델링하기 위해 형식화되고 학습될 수 있는가?
• RQ2 DSM을 리만 기하공간, 특히 SE(3)와 SO(3)에 맞춰 엔드투엔드 백본 생성에 적용할 수 있는가?
• RQ3 SE(3)^N 프로세스의 중심화가 진정한 SE(3) 불변성을 가능하게 하며 학습 효율을 개선하는가?
• RQ4 FrameDiff가 pretrained 구조 예측기 없이 500개 아미노산까지 설계 가능한 단백질 모노머를 생성할 수 있는가?
• RQ5 FrameDiff는 in silico 설계 가능성과 샘플 다양성 측면에서 pretrained 확산 대조군과 어떻게 비교되는가?

주요 결과

• FrameDiff는 길이 500까지 설계 가능하고 다양하며 새로운 단백질 모노머를 생성할 수 있다.
• FrameDiff의 인 실리코 설계 가능성은 경쟁력이 있으며, 더 많은 매개변수를 가진 사전 학습 모델에 이어 두 번째이다.
• 이론은 SE(3)^N에서 중심화하고 SE(3) 등가 네트워크를 사용하여 원칙적으로 SE(3) 불변 확산을 제공한다.
• 이 접근법은 구조 예측 네트워크에서 사전 학습에 의존하지 않고 다중 프레임에 대해 SE(3) 등가 점수를 학습할 수 있게 한다.
• 실험은 FrameDiff가 알려진 단백질 구조를 넘어 일반화되며 타당한 백본 기하를 유지함을 시사한다.

Figure 2: Single layer of $\mathrm{FrameDiff}$ . Each layer takes in the current node embedding $\mathbf{h}_{\ell}$ , edge embedding $\mathbf{z}_{\ell}$ , frames $\mathbf{T}_{\ell}$ , and initial node embedding $\mathbf{h}_{0}$ . Rectangles indicate trainable neural networks. Node embeddings are fir