[논문 리뷰] Exploring evolution-aware & -free protein language models as protein function predictors

Mingyang Hu, Fajie Yuan외 6명|arXiv (Cornell University)|2022. 06. 14.

Machine Learning in Bioinformatics인용 수 4

한 줄 요약

이 연구는 알파폴드에서 사용한 어텐션 기반 아키텍처인 Evoformer를 단백질 기능 예측 모델로 평가하며, 진화를 고려하지 않은(ESM-1b) 및 진화를 고려한(MSA-Transformer) 단백질 언어 모델과 비교한다. 구조 예측에서 뛰어난 성능을 보이지만, 대부분의 기능 예측 작업, 특히 제로샷 적합도 예측에서 ESM-1b에 뒤지며, 안정성 및 이차 구조 예측에서는 뛰어난 성능을 보인다. 본 연구는 ESM-1b가 진화를 고려한 모델에서 사용 가능한 고품질의 MSA를 효율적으로 생성할 수 있음을 입증하며, 진화를 고려하지 않은 모델과 진화를 고려한 모델 간의 상호보완적 역할을 강조한다.

ABSTRACT

Large-scale Protein Language Models (PLMs) have improved performance in protein prediction tasks, ranging from 3D structure prediction to various function predictions. In particular, AlphaFold, a ground-breaking AI system, could potentially reshape structural biology. However, the utility of the PLM module in AlphaFold, Evoformer, has not been explored beyond structure prediction. In this paper, we investigate the representation ability of three popular PLMs: ESM-1b (single sequence), MSA-Transformer (multiple sequence alignment) and Evoformer (structural), with a special focus on Evoformer. Specifically, we aim to answer the following key questions: (i) Does the Evoformer trained as part of AlphaFold produce representations amenable to predicting protein function? (ii) If yes, can Evoformer replace ESM-1b and MSA-Transformer? (ii) How much do these PLMs rely on evolution-related protein data? In this regard, are they complementary to each other? We compare these models by empirical study along with new insights and conclusions. All code and datasets for reproducibility are available at https://github.com/elttaes/Revisiting-PLMs.

연구 동기 및 목표

• 알파폴드에서 3D 구조로 미리 훈련된 Evoformer 모듈이 단백질 기능 예측에 적합한 일반적인 단백질 표현을 학습하는지 평가하는 것.
• 다양한 후행 작업에서 Evoformer, ESM-1b(진화를 고려하지 않은 모델), MSA-Transformer(진화를 고려한 모델)의 기능 표현 능력을 비교하는 것.
• 진화를 고려한 PLM가 다중서열정렬(MSA)의 품질과 깊이에 얼마나 의존하는지 조사하고, ESM-1b가 이러한 모델에서 효과적인 MSA를 생성할 수 있는지 평가하는 것.
• 진화를 고려하지 않은 PLM인 ESM-1b가 진화를 고려한 모델에서 MSA 구축을 위한 신속하고 효율적인 대안이 될 수 있는지 판단하는 것.

제안 방법

• 다양한 단백질 기능 예측 작업(이차 구조, 접촉 지도, 기능 애너테이션(CAFA), 적합도 점수 예측 포함)에 대해 Evoformer, ESM-1b, MSA-Transformer를 선형 분류 헤드로 미세조정하였다.
• CAFA2 및 CAFA3와 같은 다양한 데이터셋에서 F1 점수, 정확도, AUC와 같은 표준 지표를 사용해 모델 성능을 평가하였다.
• 기존 도구(Jackhmmer/HHblits)와 ESM-1b 기반의 시암네스 네트워크 프레임워크인 ESM-MSA를 사용해 MSA를 생성하여 효율적인 유사성 탐지 수행.
• 미세조정 없이도 일반화 및 표현의 강건성을 평가하기 위해 제로샷 적합도 예측 작업에서 평가를 수행하였다.
• MSA의 깊이와 품질이 다양한 조건에서 성능에 미치는 영향을 평가하기 위해, ESM-1b로 생성된 MSA를 포함한 다양한 MSA를 사용해 성능을 비교하였다.
• MSA 입력을 완전히 제거함으로써 Evoformer 및 MSA-Transformer가 진화적 맥락의 필요성을 평가하기 위해 분석 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 알파폴드에서 미리 훈련된 Evoformer 모듈이 3D 구조 외의 단백질 기능 예측에 유용한 표현을 학습하는가?
• RQ2 Evoformer가 후행 단백질 기능 예측 작업에서 ESM-1b 및 MSA-Transformer를 능가할 수 있는가, 아니면 구조 예측에 국한되는가?
• RQ3 진화를 고려한 PLM는 입력 MSA의 품질과 깊이에 얼마나 의존하는가? 그리고 진화를 고려하지 않은 ESM-1b가 이러한 모델에서 효과적인 MSA를 생성할 수 있는가?
• RQ4 진화를 고려하지 않은 모델과 진화를 고려한 모델 간에 상호보완적 관계가 존재하는가? 즉, ESM-1b가 Evoformer 및 MSA-Transformer에서 사용 가능한 MSA를 효율적으로 생성할 수 있는가?

주요 결과

• Evoformer는 MSA 입력을 사용할 경우 이차 구조 예측에서 뛰어난 성능을 보이며(F1-score: 0.785), 구조 관련 작업에 유용함을 시사한다.
• Evoformer는 미니단백질 안정성 예측 및 이차 구조 예측에서 ESM-1b 및 MSA-Transformer를 능가하지만, 대부분의 기능 애너테이션 및 적합도 예측 작업에서 ESM-1b에 뒤진다.
• MSA 없이 성능을 평가했을 경우 Evoformer의 성능이 크게 하락한다(F1-score: 0.614 on secondary structure), 이는 진화적 맥락에 대한 강한 의존성을 확인한다.
• MSA-Transformer도 유사한 민감도를 보이며, 이차 구조 예측에서 MSA 유무에 따라 성능이 0.748(MSA 유)에서 0.634(무MSA)로 떨어진다.
• ESM-1b로 생성된 MSA는 Evoformer 및 MSA-Transformer에서 Jackhmmer/HHblits로 생성된 MSA와 유사한 성능을 보이며, ESM-MSA는 훨씬 더 빠른 속도를 제공한다.
• 제로샷 적합도 예측에서 ESM-1b는 Evoformer 및 MSA-Transformer를 모두 능가하며, 이는 ESM-1b의 표현이 이러한 작업에 더 강건함을 시사한다.