[논문 리뷰] Protein Language Models and Structure Prediction: Connection and Progression

Bozhen Hu, Jun Xia외 5명|arXiv (Cornell University)|2022. 11. 30.

Machine Learning in Bioinformatics인용 수 21

한 줄 요약

단백질 언어 모델(pLMs)을 단백질 구조 예측(PSP)과 연결하는 체계적 고찰로, 아키텍처, 사전 학습, 데이터베이스, 응용 분야를 자세히 설명하고 향후 방향을 제시한다.

ABSTRACT

The prediction of protein structures from sequences is an important task for function prediction, drug design, and related biological processes understanding. Recent advances have proved the power of language models (LMs) in processing the protein sequence databases, which inherit the advantages of attention networks and capture useful information in learning representations for proteins. The past two years have witnessed remarkable success in tertiary protein structure prediction (PSP), including evolution-based and single-sequence-based PSP. It seems that instead of using energy-based models and sampling procedures, protein language model (pLM)-based pipelines have emerged as mainstream paradigms in PSP. Despite the fruitful progress, the PSP community needs a systematic and up-to-date survey to help bridge the gap between LMs in the natural language processing (NLP) and PSP domains and introduce their methodologies, advancements and practical applications. To this end, in this paper, we first introduce the similarities between protein and human languages that allow LMs extended to pLMs, and applied to protein databases. Then, we systematically review recent advances in LMs and pLMs from the perspectives of network architectures, pre-training strategies, applications, and commonly-used protein databases. Next, different types of methods for PSP are discussed, particularly how the pLM-based architectures function in the process of protein folding. Finally, we identify challenges faced by the PSP community and foresee promising research directions along with the advances of pLMs. This survey aims to be a hands-on guide for researchers to understand PSP methods, develop pLMs and tackle challenging problems in this field for practical purposes.

연구 동기 및 목표

• 단백질 서열이 자연어처럼 다루어지는 방식과 왜 LM이 PSP에 적용 가능한지 설명한다.
• PSP에서의 pLM의 네트워크 아키텍처, 사전 학습 전략, 응용을 조사한다.
• 주로 사용되는 단백질 데이터베이스와 그것이 사전 학습에서 어떤 역할을 하는지 요약한다.
• pLM 기반 아키텍처가 PSP 파이프라인 및 폴딩 메커니즘에 어떻게 통합되는지 논의한다.
• pLM과 PSP의 향후 연구에서의 도전 과제를 식별하고 유망한 방향을 제안한다.

제안 방법

• 기존 단백질 언어 모델(pLMs)과 그들의 사전 학습 방법을 검토하고 분류한다.
• pLM이 PSP 파이프라인 및 구조 특징 학습에 어떻게 통합되는지 분석한다.
• pLMs 맥락에서 진화 기반과 단일 서열 기반 PSP 접근 방법을 비교한다.
• pLM의 사전 학습에 사용되는 단백질 데이터베이스 및 데이터 자원을 요약한다.
• 현장의 한계점을 강조하고 향후 추세를 예측한다.

실험 결과

연구 질문

• RQ1 데이터, 표현, 목표 측면에서 pLM이 전통적인 PSP 방법과 어떻게 관련되는가?
• RQ2 PSP 작업에 가장 효과적인 아키텍처 선택과 사전 학습 전략은 무엇인가?
• RQ3 PSP를 위한 pLM 개발을 뒷받침하는 주요 데이터베이스 및 데이터 자원은 무엇인가?
• RQ4 pLM 기반 PSP 방법의 현재 한계는 무엇이며 어떤 향후 방향이 유망한가?

주요 결과

• pLM은 대규모 단백질 서열 데이터를 활용하여 구조 및 기능 예측에 유용한 표현을 학습한다.
• Transformer 기반 pLM은 다양 한 데이터베이스에서의 사전 학습과 결합되어 단일 서열 및 진화 기반 접근을 포함한 PSP 분야의 진전을 이끌었다.
• 다양한 사전 학습 전략(예: 마스킹된 언어 모델링)과 아키텍처(RNN/LSTM 대 Transformer)가 단백질 의존성을 포착하는 데 사용된다.
• 일부 맥락에서 pLM은 진화 정보가 제한적이거나 전혀 없는 PSP 파이프라인을 가능하게 한다.
• 본 고찰은 항체, 단백질 복합체, 단백질–리간드, 단백질–RNA 구조 관련 작업에 대한 방법들을 종합한다.
• 도전 과제로는 단백질 서열의 토큰화, 제한된 라벨 데이터, 다중 모달 데이터를 통합해야 하는 필요성이 포함된다.