[논문 리뷰] Contrastive Representation Learning for 3D Protein Structures

Pedro Hermosilla, Timo Ropinski|arXiv (Cornell University)|2022. 05. 31.

Protein Structure and Dynamics인용 수 25

한 줄 요약

이 논문은 3D 단백질 구조의 표현을 사전 학습하기 위한 도메인 특화 대조 학습 프레임워크를 도입하여 단백질 유사성, 폴드 분류, 기능 예측, 그리고 단백질-리간드 결합 친화도 과제에서 성능을 향상시킨다. 사전 학습된 모델은 종종 처음부터 학습한 baselines보다 우수하며, 다수의 작업에서 최첨단 또는 경쟁력 있는 결과를 달성한다.

ABSTRACT

Learning from 3D protein structures has gained wide interest in protein modeling and structural bioinformatics. Unfortunately, the number of available structures is orders of magnitude lower than the training data sizes commonly used in computer vision and machine learning. Moreover, this number is reduced even further, when only annotated protein structures can be considered, making the training of existing models difficult and prone to over-fitting. To address this challenge, we introduce a new representation learning framework for 3D protein structures. Our framework uses unsupervised contrastive learning to learn meaningful representations of protein structures, making use of proteins from the Protein Data Bank. We show, how these representations can be used to solve a large variety of tasks, such as protein function prediction, protein fold classification, structural similarity prediction, and protein-ligand binding affinity prediction. Moreover, we show how fine-tuned networks, pre-trained with our algorithm, lead to significantly improved task performance, achieving new state-of-the-art results in many tasks.

연구 동기 및 목표

• 한정된 3D 단백질 구조 데이터에 의해 학습을 자극하기 위해 단백질 데이터 뱅크(PDB)의 비라벨 구조를 활용한다.
• 같은 단백질의 임의 부분 구조에서 불변 표현을 생성하는 대조 학습 프레임워크를 개발한다.
• 3D 구조를 포착하는 공간적 정보와 방향 정보를 포착하는 단백질 특화 그래프 인코더를 설계한다.
• 사전 학습된 표현이 구조적 유사성, 폴드 분류, 기능 예측, 결합 친화도와 같은 다운스트림 작업을 개선하는지 보여준다.

제안 방법

• 단백질을 노드가 지역 방향 프레임과 다수의 특징을 갖는 아미노산 Cα 위치인 그래프로 표현한다.
• 도메인 특화 부분구조 샘플링을 사용하여 동일한 단백질에서 양의 쌍을 만들고 다른 단백질에서 음의 샘플을 만든다.
• 두 가지 분기 인코더(그래프 인코더 E와 MLP 프로젝트 P)를 적용하여 잠재 표현 h와 z를 얻고, 온도 τ를 갖는 코사인 기반 대조 손실을 최적화한다.
• 지역 프레임에서의 상대 위치, 프레임 방향, 최단 경로 거리 등 가장자리 특징을 계산하여 공간적으로 인지된 그래프 합성 연산을 구축한다.
• 전이 불변성과 회전 등가성을 보존하면서 정보를 전달하는 ResNet과 그래프 풀링을 갖춘 계층적 단백질 인코더를 구현한다.
• 컷오프 거리 d에서의 불연속성을 피하기 위해 거리 기반 게이팅으로 이웃의 영향을 관리하는 매끄러운 수용 영역을 채택한다.

실험 결과

연구 질문

• RQ1 비라벨 3D 단백질 구조에 대한 비지도 대조 학습이 다양한 다운스트림 작업에 대해 유용한 표현을 생성할 수 있는가?
• RQ2 도메인 인식 부분구조 샘플링과 단백질 특화 그래프 인코더가 일반 그래프 방법에 비해 표현 품질을 향상시키는가?
• RQ3 사전 학습된 표현이 단백질 구조적 유사성, 폴드 분류, 기능 예측, 결합 친화도 예측과 같은 작업으로 얼마나 잘 전이되는가?

주요 결과

• 사전 학습된 표현이 여러 데이터셋과 지표에서 단백질 구조적 유사성 작업의 성능을 향상시킨다.
• 사전 학습된 단백질 인코더를 파인튜닝하는 것이 일반적으로 여러 작업에서 최상의 결과를 내며, 때로는 처음부터 학습한 모델보다 우수하고, 일부 유사성 작업에서는 고정 표현과 MLP를 함께 사용해도 강한 이득을 보인다.
• 학습된 표현은 폴드 분류, GO-term 예측, 효소 반응 분류, 결합 친화도 예측에서 다양한 서열 유사성 조건에 대해 최첨단 또는 경쟁력 있는 결과를 지원한다.
• 제안된 프레임워크는 전통적 방법에 비해 잠재 공간 내 도트 곱으로의 유사성 계산이 더 빨라지고 런타임이 크게 감소한다.