[논문 리뷰] Multimodal Pre-Training Model for Sequence-based Prediction of Protein-Protein Interaction

Yang Xue, Zijing Liu외 2명|arXiv (Cornell University)|2021. 12. 09.

Computational Drug Discovery Methods인용 수 4

한 줄 요약

이 논문은 단백질 서열, 3D 구조(중량 원자 점군 및 위상 복합체를 통한) 및 기능적 기술을 공동으로 학습하여 단백질-단백질 상호작용(PPI) 예측을 향상시키는 다중모달 사전학습 모델인 S2F를 제안한다. 기존의 접촉 맵을 초월하여 구조적 유연성과 기능적 맥락을 통합함으로써, S2F는 다양한 PPI 작업—다른 종 간 PPI, 항체-항원 친화도 예측, SARS-CoV-2 중화, 돌연변이 유도 바인딩 변화—에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Protein-protein interactions (PPIs) are essentials for many biological processes where two or more proteins physically bind together to achieve their functions. Modeling PPIs is useful for many biomedical applications, such as vaccine design, antibody therapeutics, and peptide drug discovery. Pre-training a protein model to learn effective representation is critical for PPIs. Most pre-training models for PPIs are sequence-based, which naively adopt the language models used in natural language processing to amino acid sequences. More advanced works utilize the structure-aware pre-training technique, taking advantage of the contact maps of known protein structures. However, neither sequences nor contact maps can fully characterize structures and functions of the proteins, which are closely related to the PPI problem. Inspired by this insight, we propose a multimodal protein pre-training model with three modalities: sequence, structure, and function (S2F). Notably, instead of using contact maps to learn the amino acid-level rigid structures, we encode the structure feature with the topology complex of point clouds of heavy atoms. It allows our model to learn structural information about not only the backbones but also the side chains. Moreover, our model incorporates the knowledge from the functional description of proteins extracted from literature or manual annotations. Our experiments show that the S2F learns protein embeddings that achieve good performances on a variety of PPIs tasks, including cross-species PPI, antibody-antigen affinity prediction, antibody neutralization prediction for SARS-CoV-2, and mutation-driven binding affinity change prediction.

연구 동기 및 목표

• 서열 전용 또는 접촉 맵 기반 단백질 표현 방식이 PPI 예측을 위한 전체적인 구조적 및 기능적 맥락을 포괄하지 못하는 한계를 해결하기 위해.
• 서열, 3D 구조적 위상(중량 원자 점군을 통한) 및 기능적 주석을 공동으로 모델링하여 PPI 예측을 향상시키기 위해.
• 다양한 PPI 작업—다른 종 간 상호작용, 항체-항원 결합, 돌연변이 영향—에 일반화할 수 있는 사전학습 프레임워크를 개발하기 위해.
• 백신 설계 및 약물 개발과 같은 후속 생물의학적 응용 분야에서 더 나은 전이 학습을 가능하게 하기 위해.

제안 방법

• S2F 모델은 아미노산 서열, 중량 원자 점군(C, N, O)에서 유도된 3D 구조 표현 방식, 그리고 문헌 또는 주석에서 유래된 기능적 기술의 세 가지 모odal을 사용한다.
• 구조적 특징은 점군의 위상 복합체를 통해 위상 데이터 분석(TDA)을 활용하여 추출되며, 이는 프로테인의 프레임워크와 측쇄의 유연성을 모두 포착한다.
• 모델은 서열, 구조, 기능 모달에서 입력 토큰을 마스킹하고 재구성하는 마스킹 사전학습 전략을 사용한다.
• 모달 전용 인코더와 상호 주의 메커니즘을 조합하여 다양한 모달 간 공동 표현 학습을 가능하게 한다.
• 대규모 단백질 데이터셋에서 사전학습을 수행한 후, 공통된 후속 네트워크를 사용하여 후속 PPI 작업에서 미세조정을 수행한다.
• 표준 평가 지표인 RMSE, Rp, AUROC, AUPR, F1, 정밀도, 재현율을 사용하여 다양한 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 중량 원자 점군에서 유도된 구조적 위상 정보를 통합함으로써 접촉 맵을 초월하여 단백질 표현을 PPI 예측에 더 잘 반영할 수 있는가?
• RQ2 문서나 주석에서 유도된 기능적 기술을 통합함으로써, 특히 체계적으로 비정형 단백질에 관여하는 경우 PPI 예측 능력이 향상되는가?
• RQ3 다양한 PPI 작업에서 서열 전용 또는 구조 인식 사전학습 기반 모델과 비교할 때 다중모달 S2F 모델은 어떻게 성능을 내는가?
• RQ4 S2F 모델은 다른 종 간 PPI나 돌연변이 유도 바인딩 친화도 변화와 같은 도전적인 작업에 일반화될 수 있는가?

주요 결과

• SAbDab 항체-항원 친화도 예측 작업에서 S2F는 RMSE 0.272와 Rp 0.526을 기록하여 PIPR+ProtTrans 및 PIPR+ProSE를 포함한 모든 기준 모델을 능가했다.
• SARS-CoV-2 항체 중화 예측 작업에서 S2F는 AUROC 0.693, F1 점수 0.797, AUPR 0.836을 기록하여 PIPR+ELMo 및 PIPR+TAPE를 크게 능가했다.
• Homology&Structure-split Cross Validation를 사용한 S645 돌연변이 유도 친화도 변화 작업에서 S2F는 RMSE 1.866과 Rp 0.318을 기록하여 강력한 일반화 능력을 보였다.
• 다중위치 돌연변이를 위한 M1535 데이터셋에서 S2F는 RMSE 3.199와 Rp 0.264를 기록하여 동일한 어려운 평가 프로토콜 하에서 모든 비교 모델을 능가했다.
• 제거 실험 결과, 서열, 구조, 기능의 세 가지 모달 모두가 최종 성능에 기여하며, 특히 서열 전용 모델 대비 구조 및 기능 모달이 핵심적인 성능 향상을 이끌었다.