[논문 리뷰] A Comprehensive Review of Protein Language Models

Lei Wang, Xudong Li외 5명|ArXiv.org|2025. 02. 08.

Machine Learning in Bioinformatics인용 수 6

한 줄 요약

단계적 수준의 단백질 언어 모델(PLMs) 개관으로, 아키텍처, 위치 인코딩, 스케일링 법칙, 데이터셋, 벤치마크, 응용 분야, 도구 및 PLM 생태계의 도전 과제를 다룹니다.

ABSTRACT

At the intersection of the rapidly growing biological data landscape and advancements in Natural Language Processing (NLP), protein language models (PLMs) have emerged as a transformative force in modern research. These models have achieved remarkable progress, highlighting the need for timely and comprehensive overviews. However, much of the existing literature focuses narrowly on specific domains, often missing a broader analysis of PLMs. This study provides a systematic review of PLMs from a macro perspective, covering key historical milestones and current mainstream trends. We focus on the models themselves and their evaluation metrics, exploring aspects such as model architectures, positional encoding, scaling laws, and datasets. In the evaluation section, we discuss benchmarks and downstream applications. To further support ongoing research, we introduce relevant mainstream tools. Lastly, we critically examine the key challenges and limitations in this rapidly evolving field.

연구 동기 및 목표

• PLMs의 역사적 이정표와 현재 주류 추세를 조사한다.
• 모델 아키텍처, 위치 인코딩 체계, 스케일링 법칙, 사전 학습 데이터셋을 분석한다.
• PLMs의 평가 벤치마크, 다운스트림 응용 및 사용 가능한 도구를 검토한다.
• PLMs의 주요 도전과제, 한계 및 향후 개발 방향을 강조한다.

제안 방법

• 비변환기(non-transformer) 및 Transformer 기반 아키텍처로 PLMs를 분류하고 대표 모델을 요약한다.
• 절대 위치 인코딩과 상대 위치 인코딩(RoPE 포함)을 논의하고 PLMs에 미치는 영향을 설명한다.
• 스케일링 법칙과 모델 크기, 데이터 및 계산에 대한 PLMs의 함의를 검토한다.
• PLMs에서 사용되는 사전 학습 및 구조/기능 데이터셋과 벤치마크를 수집하고 분류한다.
• 주요 PLMs, 데이터셋 및 도구의 링크를 포함한 리소스 모음을 제공한다.
• 시퀀스 데이터에 의존하는지 여부와 구조적 감독 및 효율성 문제와 같은 도전과제를 비판적으로 분석한다.

실험 결과

연구 질문

• RQ1 PLMs에서 지배적인 아키텍처 경향과 그 진화는 무엇인가?
• RQ2 위치 인코딩 선택이 단백질 서열에서 PLM 성능 및 일반화에 어떤 영향을 미치는가?
• RQ3 스케일링 법칙이 PLM의 향후 성장—크기, 데이터, 컴퓨팅 측면에서 무엇을 시사하는가?
• RQ4 어떤 데이터셋과 벤치마크가 PLMs의 사전 학습 및 평가에 가장 효과적인가?
• RQ5 PLMs와 이들의 다운스트림 응용이 직면한 주요 도전과제와 미해결 질문은 무엇인가?

주요 결과

• Transformer 기반 PLMs가 현재 연구 및 응용의 주도권을 가진다.
• RoPE 기반 및 상대 위치 인코딩은 가변 길이 단백질 서열을 다루기 위해 일반적으로 채택된다.
• 스케일링 법칙은 더 큰 모델과 더 많은 데이터에서 성능이 향상되며, 일부 PLMs에서 과소적합이 관찰된다.
• 일련의 서열, 구조 및 기능 데이터셋(예: UniProt, Pfam, AlphaFoldDB)와 벤치마크(CASP, CAFA, GO, FLIP)가 사전 학습 및 평가에 사용된다.
• 구조 예측, 기능 예측, 단백질 설계, 돌연변이 효과 예측 등 다양한 다운스트림 응용이 존재한다.
• 이 조사는 PLM 연구를 지원하기 위한 모델, 데이터셋, 도구의 통합 리소스를 제공한다.