[论文解读] A Comprehensive Review of Protein Language Models

Lei Wang, Xudong Li+5 more|ArXiv.org|Feb 8, 2025

Machine Learning in Bioinformatics被引用 6

一句话总结

对蛋白质语言模型（PLMs）在宏观层面的综述，涵盖架构、位置编码、缩放定律、数据集、基准测试、应用、工具以及 PLM 领域的挑战。

ABSTRACT

At the intersection of the rapidly growing biological data landscape and advancements in Natural Language Processing (NLP), protein language models (PLMs) have emerged as a transformative force in modern research. These models have achieved remarkable progress, highlighting the need for timely and comprehensive overviews. However, much of the existing literature focuses narrowly on specific domains, often missing a broader analysis of PLMs. This study provides a systematic review of PLMs from a macro perspective, covering key historical milestones and current mainstream trends. We focus on the models themselves and their evaluation metrics, exploring aspects such as model architectures, positional encoding, scaling laws, and datasets. In the evaluation section, we discuss benchmarks and downstream applications. To further support ongoing research, we introduce relevant mainstream tools. Lastly, we critically examine the key challenges and limitations in this rapidly evolving field.

研究动机与目标

• 梳理 PLMs 的历史里程碑与当前的主流趋势。
• 分析模型架构、位置编码方案、缩放定律以及预训练数据集。
• 评估 PLMs 的评估基准、下游应用以及可用工具。
• 突出 PLMs 的关键挑战、局限性以及未来的发展方向。

提出的方法

• 将 PLMs 分类为非 Transformer 架构与基于 Transformer 的架构，并总结代表性模型。
• 讨论位置编码方案（绝对与相对编码，包括 RoPE）及其对 PLMs 的影响。
• 评审缩放定律及其对 PLMs 的模型规模、数据和计算的影响。
• 汇编并分类用于 PLMs 的预训练数据集以及结构/功能数据集和基准。
• 提供包含链接的主要 PLMs、数据集和工具的资源汇编。
• 批判性分析诸如对序列数据依赖与结构化监督的权衡以及效率方面的挑战。

实验结果

研究问题

• RQ1 PLMs 中主导的架构趋势及其演化是什么？
• RQ2 位置编码的选择如何影响 PLM 在蛋白质序列上的性能和泛化能力？
• RQ3 缩放定律对于 PLMs 在规模、数据和计算方面的未来增长意味着什么？
• RQ4 哪些数据集与基准最有效地支持 PLMs 的预训练与评估？
• RQ5 PLMs 及其下游应用面临的主要挑战与未解问题是什么？

主要发现

• 基于 Transformer 的 PLMs 主导了当前的研究与应用。
• RoPE 的相对位置编码被广泛采用以处理变长蛋白质序列。
• 缩放定律表明随着模型和数据增大性能提升，但某些 PLMs 存在欠拟合。
• 用于预训练和评估的序列、结构和功能数据集（如 UniProt、Pfam、AlphaFoldDB）以及基准（CASP、CAFA、GO、FLIP）等。
• 存在广泛的下游应用，包括结构预测、功能预测、蛋白质设计和突变效应预测。
• 该综述提供了一个整合的模型、数据集和工具资源，以支持持续的 PLM 研究。