[논문 리뷰] Evaluating representation learning on the protein structure universe

Arian R. Jamasb, Alex Morehead외 9명|PubMed|2024. 06. 19.

Protein Structure and Dynamics참고 문헌 1인용 수 6

한 줄 요약

본 논문은 ProteinWorkshop를 소개한다, 대규모 단백질 구조에 대한 기하학적 그래프 신경망의 사전학습과 평가를 위한 포괄적 벤치마크로, AlphaFold 기반 사전학습과 노이즈 제거 작업이 표현력을 향상시키고, 등가변 모델이 사전학습으로부터 더 많은 이점을 얻으며, 구조적 특징을 갖춘 ESM-2-650M이 일부 작업에서 최첨단과 유사하거나 이를 능가한다는 것을 보인다.

ABSTRACT

We introduce <i>ProteinWorkshop</i>, a comprehensive benchmark suite for representation learning on protein structures with Geometric Graph Neural Networks. We consider large-scale pre-training and downstream tasks on both experimental and predicted structures to enable the systematic evaluation of the quality of the learned structural representation and their usefulness in capturing functional relationships for downstream tasks. We find that: (1) large-scale pretraining on AlphaFold structures and auxiliary tasks consistently improve the performance of both rotation-invariant and equivariant GNNs, and (2) more expressive equivariant GNNs benefit from pretraining to a greater extent compared to invariant models. We aim to establish a common ground for the machine learning and computational biology communities to rigorously compare and advance protein structure representation learning. Our open-source codebase reduces the barrier to entry for working with large protein structure datasets by providing: (1) storage-efficient dataloaders for large-scale structural databases including AlphaFoldDB and ESM Atlas, as well as (2) utilities for constructing new tasks from the entire PDB. <i>ProteinWorkshop</i> is available at: github.com/a-r-j/ProteinWorkshop.

연구 동기 및 목표

• 다양한 작업과 모델 선택에 걸쳐 단백질 구조 인코더를 평가하는 통합적이고 모듈화된 벤치마크를 제공한다.
• 실험적 및 예측된 대규모 구조 말뭉치에서의 사전학습을 가능하게 하여 유익한 국소적 및 전역 표현을 학습한다.
• 다양한 특징화 방식과 대칭 제약(불변 vs 등가변)이 하류 성능에 미치는 영향을 평가한다.
• 노드 수준과 그래프 수준의 단백질 작업 모두에서 보조적 노이즈 제거 작업과 사전학습의 이점을 조사한다.

제안 방법

• 다양한 입력 특징화에 걸쳐 회전 불변 및 등가변 기하학적 GNN(SchNet, EGNN, TFN, MACE, GCPNet, GearNet) 세트를 벤치마크한다.
• 주요 사전학습 말뭉치로 AlphaFoldDB를 사용하고 대형 구조 데이터 세트에 대한 저장 효율적인 데이터로더를 평가한다.
• 좌표나 각도를 손상시키는 노이즈 부여 방식과 함께 구조/서열 노이즈 제거, 역구성(inverse folding), pLDDT 예측을 포함한 다섯 가지 사전학습 과제를 적용한다.
• 노드 수준(예: 역구성, PPI 자리, 금속 결합, PTM 자리) 및 그래프 수준(폴드, GO, 반응 분류, 항체 개발성) 주석에 걸친 다양한 다운스트림 작업을 평가한다.
• 교차 모달리티 효율성을 평가하기 위해 구조적 특징이 포함된 시퀀스 기반 기준선(ESM-2-650M)과 비교한다.

Figure 1: Overview of ProteinWorkshop , a comprehensive benchmark suite for evaluating pre-training and representation learning of Geometric GNNs on large-scale protein structure data.

실험 결과

연구 질문

• RQ1 불변 GNN과 등가변 GNN은 다양한 단백질 구조 작업에서 어떻게 성능을 발휘하는가?
• RQ2 어떤 특징화 체계와 구조적 세부 수준(Cα, 본체, 측쇄)이 단백질 표현 학습에 가장 잘 도움이 되는가?
• RQ3 사전학습 과제와 보조 노이즈 제거 과제가 하류 성능을 얼마나 향상시키며 어떤 모델 클래스가 가장 큰 이점을 얻는가?
• RQ4 AlphaFold 구조에 대한 대규모 사전학습이 구조 기반 인코더와 최첨단 시퀀스 기반 모델 간의 격차를 좁힐 수 있는가?
• RQ5 학습된 표현이 사전학습에서 노드 레벨 국소 잔기와 전역 단백질 주석으로 얼마나 잘 전이되는가?

주요 결과

• 등가변 GNN은 일반적으로 불변 GNN보다 우수한 성능을 보이며, 단백질 특화 아키텍처도 강한 성능을 보인다.
• Cα 원자, 가상 각, 백본 비틀림으로 특징화하는 것이 많은 작업-모델 조합에서 강력한 결과를 내며, 백본 정보가 일반화에 도움이 됨을 시사한다.
• 보조 노이즈 제거 작업(서열 및 구조)이 대부분의 조합에서 일관되게 성능을 향상시키고, 일부 경우 학습 안정성을 높인다.
• 노이즈 제거 기반 과제를 포함한 AlphaFoldDB 사전학습이 하류 성능을 향상시키며, 특히 등가변 모델에서 두드러진다.
• 시퀀스 기반 ESM-2-650M에 구조적 특징을 추가하면(상위) 패밀리 폴드 및 GO 예측 작업에서 일부 최첨단 GNN과 맞먹거나 이를 능가한다.

Figure 2: Ranking analysis of Gene Ontology-Biological Process (GO-BP) test performance across different encoders, feature sets, and auxiliary tasks.