[논문 리뷰] CCPL: Cross-modal Contrastive Protein Learning

Jiangbin Zheng, Stan Z. Li|arXiv (Cornell University)|2023. 03. 19.

Machine Learning in Bioinformatics인용 수 4

한 줄 요약

이 논문은 시퀀스와 3D 구조 간의 다중모달 대비 정렬을 통해 사전 훈련된 단백질 언어 모델을 활용해 구조 모델 사전 훈련을 안내하는 새로운 비지도 대비 단백질 학습 프레임워크 CCPL을 제안한다. 자체 지도적 접촉 맵 예측 손실을 도입하고 내부(접촉 맵 예측, 검색 정렬) 및 외부(단백질 설계) 작업에서 평가함으로써, 낮은 퍼플렉서피와 높은 시퀀스 복원 성능을 달성하여 구조 표현 학습에서 강력한 일반화 및 내구성을 입증한다.

ABSTRACT

Effective protein representation learning is crucial for predicting protein functions. Traditional methods often pretrain protein language models on large, unlabeled amino acid sequences, followed by finetuning on labeled data. While effective, these methods underutilize the potential of protein structures, which are vital for function determination. Common structural representation techniques rely heavily on annotated data, limiting their generalizability. Moreover, structural pretraining methods, similar to natural language pretraining, can distort actual protein structures. In this work, we introduce a novel unsupervised protein structure representation pretraining method, cross-modal contrastive protein learning (CCPL). CCPL leverages a robust protein language model and uses unsupervised contrastive alignment to enhance structure learning, incorporating self-supervised structural constraints to maintain intrinsic structural information. We evaluated our model across various benchmarks, demonstrating the framework's superiority.

연구 동기 및 목표

• 실제 공간적 구조 표현을 손상시키지 않으면서 일반화 가능한 비지도 단백질 구조 사전 훈련 방법의 부족을 해결하기 위해.
• 대규모 사전 훈련된 단백질 언어 모델에서 유래한 풍부한 사전 지식을 활용해 단백질 구조 표현 학습을 초기화하고 안내하기 위해.
• 라벨이 없는 데이터를 요구하지 않고도 내재된 구조적 정보 학습을 강화하는 자체 지도적 구조约속을 개발하기 위해.
• 내부 작업과 최종 작업을 결합한 종합적인 평가 프로토콜을 설계하여 사전 훈련된 구조 모델의 내구성과 일반화 능력을 검증하기 위해.
• 시퀀스와 구조 모odal 간의 다중모달 대비 정렬이 효과적이고 확장 가능하며 일반화 가능한 단백질 구조 표현 학습을 가능하게 하는지 입증하기 위해.

제안 방법

• 프레임워크는 시퀀스와 구조 표현 간의 비지도 대비 정렬을 통해 사전 훈련된 단백질 언어 모델을 활용해 단백질 구조 모델의 훈련을 안내한다.
• 대비 학습을 위해 무작위로 구성된 구조-시퀀스 쌍의 미니배치를 구성하여 양성 및 음성 샘플을 생성한다.
• 잠재 공간에서의 구조 일관성을 강제하기 위해 N, Cα, O 원자에서 계산된 가상의 Cβ 원자를 사용하는 자체 지도적 접촉 맵 예측 헤드를 도입한다.
• 언어 모델이 강력한 인덕티브 바이어스를 제공함으로써, 시퀀스와 구조의 임베딩 공간을 대비 손실을 통해 정렬한다.
• 구조 인코더는 접촉 맵 예측 헤드와 함께 공동 최적화되어 내재된 구조적 토폴로지와 공간적 관계를 유지한다.
• 평가에는 내부 작업(접촉 맵 예측, 검색 정렬)과 외부 최종 작업(비자기적 단백질 설계)이 포함되어 표현 품질과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 데이터를 요구하지 않고도 사전 훈련된 단백질 언어 모델이 단백질 구조 모델의 사전 훈련을 효과적으로 안내할 수 있는가?
• RQ2 단백질 시퀀스와 3D 구조 간의 다중모달 대비 정렬이 구조 표현의 일반화 및 내구성 향상에 기여하는가?
• RQ3 자체 지도적 접촉 맵 예측 헤드가 외부 애너테이션 없이도 모델의 구조적 인덕티브 바이어스를 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 순차 복원과 퍼플렉서피 측면에서 기존 방법과 비교해 최종 단백질 설계 작업에서 어떻게 성능을 내는가?
• RQ5 대비 정렬 손실이 시퀀스와 구조 임베딩 공간 간의 정렬을 얼마나 향상시키는가?

주요 결과

• 잔기 수준 및 단백질 수준의 사전 훈련된 모델은 대부분의 데이터셋에서 90% 이상의 P@L 정확도를 달성하여 강력한 구조 표현 학습 능력을 보여준다.
• 단백질 수준의 모델은 더 높은 정확도와 낮은 KL 발산을 보이며 우수한 검색 정렬 성능을 보여, 효과적인 다중모달 정렬을 확인한다.
• 최종 단백질 설계 작업에서, ProteinMPNN 및 GVP-Transformer와 같은 강력한 베이스라인보다 낮은 퍼플렉서피와 높은 시퀀스 복원 성능을 달성한다.
• 비자기적 디코더는 고성능을 유지하면서도 더 빠른 샘플링 속도를 제공하여 효율성과 확장성을 입증한다.
• 사전 훈련된 구조 모델을 사용한 파인튜닝은 비사전 훈련된 백본보다 성능 향상이著명하여 강력한 일반화 능력을 확인한다.
• 파인튜닝 과정에서 잔기 수준과 단백질 수준의 사전 훈련된 모델 간 성능 격차가 좁아지며 효과적인 지식 전이가 이루어지고 있음을 시사한다.