[논문 리뷰] FoldToken: Learning Protein Language via Vector Quantization and Beyond

Zhangyang Gao, Cheng Tan외 4명|arXiv (Cornell University)|2024. 02. 04.

Machine Learning in Bioinformatics인용 수 5

한 줄 요약

FoldToken은 시퀀스-구조의 벡터 양자화를 통해 이산적인 단백질 언어를 학습하고, 자동회귀 시퀀스-구조 생성을 위한 GPT-스타일 모델 FoldGPT와 백본 인페인팅, 항체 설계와 같은 응용을 가능하게 한다. 또한 재구성과 생성을 균형잡기 위해 SoftCVQ를 도입한다.

ABSTRACT

Is there a foreign language describing protein sequences and structures simultaneously? Protein structures, represented by continuous 3D points, have long posed a challenge due to the contrasting modeling paradigms of discrete sequences. We introduce extbf{FoldTokenizer} to represent protein sequence-structure as discrete symbols. This innovative approach involves projecting residue types and structures into a discrete space, guided by a reconstruction loss for information preservation. We refer to the learned discrete symbols as extbf{FoldToken}, and the sequence of FoldTokens serves as a new protein language, transforming the protein sequence-structure into a unified modality. We apply the created protein language on general backbone inpainting and antibody design tasks, building the first GPT-style model ( extbf{FoldGPT}) for sequence-structure co-generation with promising results. Key to our success is the substantial enhancement of the vector quantization module, Soft Conditional Vector Quantization ( extbf{SoftCVQ}).

연구 동기 및 목표

• FoldTokenizer를 사용하여 단백질 서열과 구조를 하나의 이산적 언어로 연결한다.
• 단백질 언어 맥락에서 높은 품질의 재구성 및 생성을 지원하도록 벡터 양자화를 개선한다.
• FoldGPT를 사용하여 단백질 서열-구조의 GPT-스타일 자동회귀 생성을 가능하게 한다.
• 백본 인페인팅 및 항체 설계와 같은 하류 작업을 시연한다.
• 효과적인 SoftCVQ 성능에 기여하는 요인을 식별하기 위한 분석 및 제거실험(아블레이션)을 제공한다.

제안 방법

• 트랜스포머 기반 FoldTokenizer로 시퀀스와 구조를 연속 잠재 표현으로 인코딩한다.
• 세 가지 제안된 VQ 전략(SoftVQ, SoftGVQ, SoftCVQ)을 사용하여 전체 코드북에 대한 소프트 쿼리를 통해 잠재 코드를 이산 단백질 언어로 양자화한다.
• 이산 코드로부터 디코딩하여 서열 및 각도 기반 구조 표현을 재구성한다.
• 학습된 단백질 언어에서 작동하는 자동회귀 모델로 FoldGPT를 훈련하여 인페인팅 및 서열-구조의 공생 생성을 수행하게 한다.

실험 결과

연구 질문

• RQ1 재구성 손실을 사용했을 때 이산 단백질 언어가 서열-구조 정보를 충실히 표현할 수 있는가?
• RQ2 소프트 벡터 양자화 방법들(SoftVQ, SoftGVQ, SoftCVQ)이 일반(바닐라) 및 LFQ 방법과 비교해 재구성 및 생성을 개선하는가?
• RQ3 학습된 단백질 언어를 사용한 FoldGPT가 백본 인페인팅 및 항체 설계에서 얼마나 잘 작동하는가?
• RQ4 VQ 방법의 성능을 주도하는 요인들(GM, SI, MC, IB, SGQ)은 무엇이며, SoftCVQ가 재구성 및 생성의 균형을 어떻게 이루는가?

주요 결과

• SoftCVQ는 강력한 재구성 및 경쟁력 있는 생성을 달성하며, 재구성 지표에서 기본 VQ 방법들을 능가하고 효과적인 생성을 가능하게 한다.
• SoftVQ, SoftGVQ, SoftCVQ는 Vanilla 및 LFQ에 비해 CATH4.3 테스트 세트에서 TMScore 및 재구성 성공률을 크게 향상시킨다.
• FoldGPT는 기본보다 우수한 서열 인페인팅 결과를 제공하고 각도 기반 방법에 비해 구조 인페인팅에서도 향상을 보인다.
• 항체 설계에서 FoldGPT는 경쟁력 있는 성능을 보이며, 학습된 단백질 언어가 설계 작업에 유용하다는 결과를 시사한다.
• 이산화가 이진 VQ-ID(SoftCVQ)로 이루어지는 것은 수렴 및 큰 코드북 공간에서의 안정적 학습에 결정적이다.