[논문 리뷰] Proteina: Scaling Flow-based Protein Structure Generative Models

Tomas Geffner, Kieran Didi외 9명|ArXiv.org|2025. 03. 02.

Genetics, Bioinformatics, and Biomedical Research인용 수 3

한 줄 요약

논문은 대규모 흐름 기반 단백질 백본 생성기 ourmodel을 소개하며, 계층적 폴드 클래스 레이블로 조건화하여 800 잔기에 이르는 백본에서 최첨단 성능을 달성하고 설계 가능하고 다양한 구조를 확장 가능한 학습 데이터 및 새로운 조건화/가이던스 메커니즘으로 가능하게 한다.

ABSTRACT

Recently, diffusion- and flow-based generative models of protein structures have emerged as a powerful tool for de novo protein design. Here, we develop Proteina, a new large-scale flow-based protein backbone generator that utilizes hierarchical fold class labels for conditioning and relies on a tailored scalable transformer architecture with up to 5x as many parameters as previous models. To meaningfully quantify performance, we introduce a new set of metrics that directly measure the distributional similarity of generated proteins with reference sets, complementing existing metrics. We further explore scaling training data to millions of synthetic protein structures and explore improved training and sampling recipes adapted to protein backbone generation. This includes fine-tuning strategies like LoRA for protein backbones, new guidance methods like classifier-free guidance and autoguidance for protein backbones, and new adjusted training objectives. Proteina achieves state-of-the-art performance on de novo protein backbone design and produces diverse and designable proteins at unprecedented length, up to 800 residues. The hierarchical conditioning offers novel control, enabling high-level secondary-structure guidance as well as low-level fold-specific generation.

연구 동기 및 목표

• 단층 diffusion/flow matching에서 영감을 받은 흐름 기반 모델로 단백질 백본 생성을 확장한다.
• 계층적 폴드클래스 조건화(CATH 기반)를 도입하여 2차 구조 및 접힘 수준의 생성에 대한 제어 가능성을 확보한다.
• 800 잔기에 이르는 긴 단백질 백본을 처리할 수 있는 확장 가능한 트랜스포머 아키텍처를 개발한다.
• 생성된 단백질이 참조 분포와 얼마나 잘 일치하는지 분포 수준 지표(FPSD, fJSD, fS)를 도입한다.
• 수십백만 개의 합성 단백질 구조로 데이터 스케일링을 입증하고, LoRA, CFG, autoguidance 등의 미세 조정/가이던스 전략을 탐색하여 설계가능성과 제어를 향상한다.

제안 방법

• 가우시안 노이즈를 실질적인 Cα 좌표로 변환하는 벡터 필드 v_t를 학습하기 위해 흐름 매칭을 사용한다.
• 학습 가능한 임베딩과 계층적 드롭아웃을 이용하여 계층적 폴드-클래스 레이블(C, A, T 수준)로 조건화하고, 무조건적 및 조건부 생성(분류기 자유 가이던스 및 자동 가이던스)을 가능하게 한다.
• 잔기 표현과 쌍 표현을 처리하기 위한 확장 가능하고 비 등가(non-equivariant) 트랜스포머 아키텍처를 채택하고, 삼각 계층 및 QK 정규화 향상을 선택적으로 적용한다.
• 샘플링 시 v_t로부터 스코어 s_t를 도출하여 노이즈 스케일 gamma를 조정 가능한 확률적 미분 방정식(SDE)을 형성한다.
• 생성 구조와 참조 구조 간의 분포 유사성을 평가하기 위해 폴드 클래스 예측기 p_phi에 기초한 FPSD, fJSD, fS의 세 가지 확률 지표를 도입한다.
• 두 데이터셋에서 학습한다: 2차 Foldseek AFDB 클러스터링 세트(F_FS)와 2100만 개의 고품질 AFDB 하위집합(F_21M)으로 최대 약 2100만 개의 구조와 이전 연구 대비 약 35배의 데이터 규모를 가능하게 한다.
• LoRA 기반 미세 조정, 거리도( distogram) 보조 손실, 자기 조건화, 폴드 클래스 조건 드롭아웃 등 학습 전략을 탐색한다.

실험 결과

연구 질문

• RQ1 대규모 비등가 흐름 기반 모델이 최대 800 잔기에 달하는 고품질의 설계 가능 단백질 백본을 생성할 수 있는가?
• RQ2 계층적 폴드-클래스 조건화가 2차 구조 내용 및 폴드 수준 특징에 대한 제어 가능한 생성을 제공하는가?
• RQ3 수천만 개의 합성 단백질 구조로 학습 데이터를 확장하는 것이 설계 가능성, 다양성 및 참조 데이터와의 분포 유사성에 어떤 영향을 미치는가?
• RQ4 단백질 백본 생성을 위한 효과적인 학습 및 샘플링 방법(예: LoRA, CFG, autoguidance, t-sampling)은 무엇인가?
• RQ5 새로운 분포 수준 지표(FPSD, fJSD, fS)가 폴드 클래스 전반에서 생성 구조가 참조 분포와 얼마나 근접한지 의미 있게 정량화할 수 있는가?

주요 결과

• uModel 0 1ourmodel은 조건부 및 무조건적 백본 생성에서 최첨단 성능을 달성하며, 최대 800 잔기에 이르는 긴 체인도 포함한다.
• uHierarchical fold-class conditioning enables novel control over generated structures, including fold-specific synthesis and enhanced beta-sheet content.
• uTraining on up to 21 million high-quality synthetic structures (35x larger than Foldseek AFDB subset) is feasible and improves distributional realism.
• uNew metrics FPSD, fJSD, and fS quantify distribution-level similarity and diversity/novelty across fold classes, complementing existing designability metrics.
• uThe model scales to more than 400M parameters in the transformer and demonstrates effective fine-tuning with LoRA and guidance strategies (CFG and autoguidance) for designable outputs.
• uSampling can be performed via an ODE or SDE, with a tunable noise scale gamma affecting designability/diversity trade-offs.