[논문 리뷰] VQPL: Vector Quantized Protein Language

Zhangyang Gao, Cheng Tan외 1명|arXiv (Cornell University)|2023. 10. 08.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 벡터 양자화 트랜스포머(VQProteinformer)를 사용하여 단백질 서열과 3D 구조를 이산 잠재 코드 공간으로 통합하는 VQPL(Vector Quantized Protein Language)을 제안한다. 양자화기(quantizer)를 통해 잔기 유형과 토판 각도를 이산 기호로 매핑함으로써, 모델은 통합된 서열-구조 모델링을 가능하게 하여 재구성, 예측, 자동 회귀 생성 작업에서 뛰어난 성능을 달성하며, 소프트 양자화는 구조 재구성 정밀도를 크게 향상시킨다.

ABSTRACT

Is there a foreign language describing protein sequences and structures simultaneously? Protein structures, represented by continuous 3D points, have long posed a challenge due to the contrasting modeling paradigms of discrete sequences. To represent protein sequence-structure as discrete symbols, we propose a VQProteinformer to project residue types and structures into a discrete space, supervised by a reconstruction loss to ensure information preservation. The sequential latent codes of residues introduce a new quantized protein language, transforming the protein sequence-structure into a unified modality. We demonstrate the potential of the created protein language on predictive and generative tasks, which may not only advance protein research but also establish a connection between the protein-related and NLP-related fields. The proposed method will be continually improved to unify more protein modalities, including text and point cloud.

연구 동기 및 목표

• 단백질 서열과 3D 구조를 하나의 이산 표현으로 통합하여 통합 모델링을 가능하게 하기 위해.
• 단백질 모델링에서 서열(자연어 처리 스타일)과 구조(GNN 스타일) 표현 간의 모odal 갭을 극복하기 위해.
• 자연어 처리와 구조 생물학을 연결하는 단백질 표현 학습을 가능하게 하기 위해.
• 이산 단백질 언어가 예측 및 생성 단백질 모델링 작업 잠재력을 어떻게 활용할 수 있는지 탐색하기 위해.
• 향후 텍스트 및 포인트 클라우드와 같은 추가 모odal의 통합 기반을 마련하기 위해.

제안 방법

• VQProteinformer는 손상된 단백질 서열과 구조를 연속 잠재 표현으로 매핑하기 위해 트랜스포머 기반 인코더를 사용한다.
• 벡터 양자화기(VQ)는 연속 임베딩을 이산 잠재 코드로 매핑하여 이산 단백질 언어를 형성한다.
• 트랜스포머 기반 디코더는 재구성 손실을 사용하여 이산 코드에서 원래의 서열과 구조를 재구성한다.
• 단백질 구조는 회전 및 이동 불변성을 확보하고 서열 모델링을 가능하게 하기 위해 토판 각도 시퀀스(r, α, β)로 변환된다.
• 표현 학습을 향상시키기 위해 서열과 구조 입력에 대해 마스킹 및 노이즈 추가를 적용한다.
• 연속 가능한 소프트 할당을 허용함으로써 재구성 품질을 향상시키기 위해 소프트 양자화가 도입된다.

실험 결과

연구 질문

• RQ1 단백질 서열과 3D 구조가 효과적으로 하나의 이산 잠재 공간에 통합될 수 있는가?
• RQ2 이산 단백질 언어가 트랜스포머를 통해 엔드 투 엔드 모델링을 가능하게 하여 전통적인 서열 및 구조 모델의 성능을 충족하거나 초월할 수 있는가?
• RQ3 소프트 양자화가 하드 양자화보다 구조적 및 서열 정보를 보존하는 데 어떻게 더 효과적인가?
• RQ4 학습된 이산 단백질 언어가 하류 예측 및 생성 작업을 향상시킬 수 있는가?
• RQ5 이산 표현이 구조적 일관성을 유지하는 단백질 서열의 자동 회귀 생성을 지원할 수 있는가?

주요 결과

• 소프트 양자화기(Soft-2)는 CATH4.3 테스트 세트에서 TMScore 0.5786을 기록하여 기존 양자화기(0.5592)보다 유의미하게 뛰어난 구조 재구성 성능을 보였다.
• 1024개 코드북을 사용한 기존 VQProteinformer(Vanilla-8)는 TMScore 0.5743을 기록하여 더 큰 코드북이 구조 정밀도를 약간 향상시킨다는 것을 보여주었다.
• VQProteinformer 임베딩은 8개의 유전자 온톨로지 및 효소 분류 작업 중 6개에서 베이스라인을 약간 앞서며, BP 분류에서 F1-score 0.4380, 접힘 분류에서 F1-score 0.8520을 기록했다.
• 단일 단계 VQProteinformer(Vanilla-10)는 두 단계로 미세조정된 모델(Soft-2 → 새로운 MLM 인코더)보다 성능이 뛰어나, 통합 사전 훈련이 더 효과적임을 시사했다.
• 시각화 결과 소프트 VQProteinformer의 재구성 결과는 기존 대비 실제 구조와 더 유사한 시각적 유사도를 보였다.
• 이산 단백질 언어를 사용한 자동 회귀 인painting은 구조적으로 타당한 구조 조각을 생성하여 학습된 언어의 생성 능력을 시사했다.