[논문 리뷰] Data-Efficient Protein 3D Geometric Pretraining via Refinement of Diffused Protein Structure Decoy

Yufei Huang, Lirong Wu외 4명|arXiv (Cornell University)|2023. 02. 05.

Protein Structure and Dynamics인용 수 5

한 줄 요약

이 논문은 RefineDiff를 제안하며, 3차원 기하학적 사전 학습을 위한 자료 효율적인 프리텍스트 작업으로, 기하학적 변형에 강인한 트랜스포머를 사용해 산산이 흩어진 단백질 구조의 복잡한 구조를 정제한다. 최신 기술 모델이 사용한 자료의 1퍼센트 미만으로 훈련함에도 불구하고, 하류 작업에서 경쟁력 있는 성능을 달성하였으며, GO-CC에서 최고 성능(SOTA), EC와 GO-BP에서 거의 최고 성능을 기록하여 3차원 기하학적 사전 학습의 효과성을 입증한다.

ABSTRACT

Learning meaningful protein representation is important for a variety of biological downstream tasks such as structure-based drug design. Having witnessed the success of protein sequence pretraining, pretraining for structural data which is more informative has become a promising research topic. However, there are three major challenges facing protein structure pretraining: insufficient sample diversity, physically unrealistic modeling, and the lack of protein-specific pretext tasks. To try to address these challenges, we present the 3D Geometric Pretraining. In this paper, we propose a unified framework for protein pretraining and a 3D geometric-based, data-efficient, and protein-specific pretext task: RefineDiff (Refine the Diffused Protein Structure Decoy). After pretraining our geometric-aware model with this task on limited data(less than 1% of SOTA models), we obtained informative protein representations that can achieve comparable performance for various downstream tasks.

연구 동기 및 목표

• 2D 단백질 구조 사전 학습의 한계, 즉 자료의 동질성, 물리적으로 현실적이지 않은 모델링, 제한된 프리텍스트 작업을 해결하기 위해.
• 구조 생물학적 통찰을 활용한 3차원 기하학적, 자료 효율적, 단백질 특화 프리텍스트 작업을 개발하기 위해.
• 제한된 자료로 3차원 기하학적 프리텍스트 작업을 수행함으로써, 훨씬 큰 데이터셋에서 학습한 모델들과 경쟁 가능한 단백질 표현을 도출할 수 있음을 입증하기 위해.
• 3차원 기하학적 사전 학습의 잠재력을 부각하는 통합된 프레임워크를 구축하기 위해.

제안 방법

• 모델이 산산이 흩어진 단백질 구조의 복잡한 구조를 더 정확한 구조로 정제하도록 훈련하는 새로운 프리텍스트 작업인 RefineDiff를 제안한다.
• 단백질 구조를 복잡한 구조로 훼손하는 전방 확산 과정을 사용하여, 모델이 더 넓은 에너지 장에서 학습할 수 있도록 한다.
• 로테이션과 트랜슬레이션에 강인한 트랜스포머 아키텍처(AlphaFold에 영향을 받음)를 사용하여 모델의 기하학적 인식 능력을 보장한다.
• 8,000개의 단백질 타겟(DADB)으로 구성된 작은 데이터셋에서 모델을 사전 훈련하여, 최신 기술 모델의 자료의 1퍼센트 미만을 사용한다.
• 노이즈 제거 목적을 사용하여, 손상된(확산된) 버전으로부터 원래의 정제된 구조를 예측하도록 모델을 훈련한다.
• 삼각형 어텐션과 기하학적 제약 조건과 같은 인덕티브 바이어스를 통합하여 물리적 타당성을 향상시킨다.

실험 결과

연구 질문

• RQ1 3차원 기하학적 프리텍스트 작업은 2차원 기하학적 또는 시퀀스 기반 방법보다 단백질 표현 학습을 더 효과적으로 향상시킬 수 있는가?
• RQ2 3차원 기하학적 프리텍스트 작업을 사용해 소규모이고 다양한 데이터셋에서 사전 훈련하면, 훨씬 큰 데이터셋에서 학습한 표현과 경쟁 가능한가?
• RQ3 하류 성능 측면에서, RefineDiff는 직접 단백질 구조 정제를 프리텍스트 목적으로 사용하는 것보다 어떻게 비교되는가?
• RQ4 확산 과정이 구조 정제에서 局부 최소값에서 벗어나 최적화를 어떻게 향상시키는가?

주요 결과

• RefineDiff로 사전 훈련된 모델은 GO-CC 작업에서 F_max 0.528로 최고 성능(SOTA)을 기록하였으며, 훨씬 더 큰 데이터셋에서 훈련된 모든 베이스라인을 능가했다.
• EC와 GO-BP 작업에서 각각 F_max 0.865와 0.455로 두 번째로 높은 성능을 기록하였으며, 이는 단지 8,000개의 단백질 타겟(최신 기술 모델의 1퍼센트 미만)을 사용했음에도 불구하고 성취된 것이다.
• 제거 분석 결과, RefineDiff로 사전 훈련한 모델이 초기에 정제 능력이 약한 상태에서도 직접 단백질 구조 정제로 사전 훈련한 것보다 더 뛰어난 하류 성능을 보였다.
• RefineDiff로 훈련한 모델는 초기 복잡한 구조에서 0.12 GDT 향상되었지만, 직접 PSR 사전 훈련은 단지 0.00 GDT 향상에 그쳤으며, 이는 확산 기반 접근의 열등성을 입증한다.
• 사전 훈련 중 조기 체크포인트를 사용한 결과, 단지 0.01 GDT 향상에 그쳤으며, 이는 RefineDiff의 이점을 발휘하기 위해서는 전체 훈련이 필수적임을 시사한다.
• 모든 하류 작업에서 사전 훈련 없이 학습한 베이스라인을 모두 능가하여, 제한된 자료로도 사전 훈련의 가치가 있음을 입증했다.