[论文解读] Exploring evolution-aware & -free protein language models as protein function predictors

Mingyang Hu, Fajie Yuan+6 more|arXiv (Cornell University)|Jun 14, 2022

Machine Learning in Bioinformatics被引用 4

一句话总结

本研究评估了来自 AlphaFold 的 Evoformer（一种基于注意力机制的架构）作为蛋白质功能预测器的表现，将其与无进化信息（ESM-1b）和具进化感知能力（MSA-Transformer）的蛋白质语言模型进行比较。尽管其在结构预测方面表现优异，Evoformer 在大多数功能预测任务中表现不如 ESM-1b，尤其是在零样本适应的适合度预测任务中；然而，它在稳定性和二级结构预测方面表现出色。研究结果表明，ESM-1b 能够高效生成适用于进化感知模型的高质量多序列比对（MSA），凸显了无进化信息与具进化感知的 PLM 之间的互补作用。

ABSTRACT

Large-scale Protein Language Models (PLMs) have improved performance in protein prediction tasks, ranging from 3D structure prediction to various function predictions. In particular, AlphaFold, a ground-breaking AI system, could potentially reshape structural biology. However, the utility of the PLM module in AlphaFold, Evoformer, has not been explored beyond structure prediction. In this paper, we investigate the representation ability of three popular PLMs: ESM-1b (single sequence), MSA-Transformer (multiple sequence alignment) and Evoformer (structural), with a special focus on Evoformer. Specifically, we aim to answer the following key questions: (i) Does the Evoformer trained as part of AlphaFold produce representations amenable to predicting protein function? (ii) If yes, can Evoformer replace ESM-1b and MSA-Transformer? (ii) How much do these PLMs rely on evolution-related protein data? In this regard, are they complementary to each other? We compare these models by empirical study along with new insights and conclusions. All code and datasets for reproducibility are available at https://github.com/elttaes/Revisiting-PLMs.

研究动机与目标

• 评估 AlphaFold 中预训练于三维结构的 Evoformer 模块是否能学习到适用于蛋白质功能预测的通用蛋白质表征。
• 在多个下游任务中比较 Evoformer、ESM-1b（无进化信息）和 MSA-Transformer（具进化感知）的功能表征能力。
• 研究具进化感知 PLM 对多序列比对（MSA）质量与深度的依赖性，并探讨 ESM-1b 是否能生成对这些模型有效的 MSA。
• 确定无进化信息的 PLM（如 ESM-1b）是否可作为具进化感知模型中 MSA 构建的快速高效替代方案。

提出的方法

• 在包括二级结构、接触图、功能注释（CAFA）和适合度分数预测在内的多种蛋白质功能预测任务上，对 Evoformer、ESM-1b 和 MSA-Transformer 进行微调，并添加线性分类头。
• 使用标准指标（如 F1 分数、准确率和 AUC）在多个数据集（包括 CAFA2 和 CAFA3 的功能注释数据集）上评估模型性能。
• 使用传统工具（Jackhmmer/HHblits）和一种基于 ESM-1b 的快速 Siamese 网络框架 ESM-MSA，生成 MSA 以实现高效的同源检测。
• 在适合度预测任务上进行零样本评估，以评估微调前表征的泛化能力与鲁棒性。
• 比较使用不同深度与质量的 MSA 时的性能，包括由 ESM-1b 构建的 MSA，以评估对输入 MSA 精度的敏感性。
• 通过完全移除 MSA 输入进行消融研究，以评估进化上下文对 Evoformer 和 MSA-Transformer 的必要性。

实验结果

研究问题

• RQ1 在 AlphaFold 中预训练的 Evoformer 模块是否能产生对蛋白质功能预测（超越三维结构）有用的表征？
• RQ2 Evoformer 是否能在下游蛋白质功能预测任务中超越 ESM-1b 和 MSA-Transformer，还是其能力仅限于结构预测？
• RQ3 具进化感知 PLM 对输入 MSA 的质量与深度有多依赖？ESM-1b 是否能生成对这些模型有效的 MSA？
• RQ4 是否存在无进化信息与具进化感知 PLM 之间的互补关系，使得 ESM-1b 能够高效生成用于 Evoformer 和 MSA-Transformer 的 MSA？

主要发现

• Evoformer 在二级结构预测（使用 MSA 输入时 F1 分数为 0.785）和接触图预测方面表现强劲，表明其在结构相关任务中的实用性。
• Evoformer 在微型蛋白稳定性预测和二级结构预测方面优于 ESM-1b 和 MSA-Transformer，但在大多数功能注释和适合度预测任务中表现不如 ESM-1b。
• 当不使用 MSA 时，Evoformer 性能显著下降（二级结构预测的 F1 分数为 0.614），证实其对进化上下文的强依赖性。
• MSA-Transformer 对 MSA 质量也表现出类似敏感性，其在二级结构预测中的性能从使用 MSA 时的 0.748 降至无 MSA 时的 0.634。
• 由 ESM-1b 生成的 MSA 在 Evoformer 和 MSA-Transformer 上的性能与由 Jackhmmer/HHblits 生成的 MSA 相当，且 ESM-MSA 显著更快。
• 在零样本适合度预测中，ESM-1b 表现优于 Evoformer 和 MSA-Transformer，表明其表征在这些任务中更具鲁棒性。