[论文解读] A Survey on Protein Representation Learning: Retrospect and Prospect

Lirong Wu, Yufei Huang+2 more|ArXiv.org|Dec 31, 2022

Machine Learning in Bioinformatics被引用 8

一句话总结

本综述提出了一种全面且统一的蛋白质表征学习（PRL）框架，将现有方法分类为基于序列、基于结构以及序列-结构联合建模三类。综述回顾了模型架构、掩码任务和下游应用，提供了一个经筛选的GitHub方法资源库，并指出了未来关键方向，包括统一评估、蛋白质特异性设计以及提升可解释性。

ABSTRACT

Proteins are fundamental biological entities that play a key role in life activities. The amino acid sequences of proteins can be folded into stable 3D structures in the real physicochemical world, forming a special kind of sequence-structure data. With the development of Artificial Intelligence (AI) techniques, Protein Representation Learning (PRL) has recently emerged as a promising research topic for extracting informative knowledge from massive protein sequences or structures. To pave the way for AI researchers with little bioinformatics background, we present a timely and comprehensive review of PRL formulations and existing PRL methods from the perspective of model architectures, pretext tasks, and downstream applications. We first briefly introduce the motivations for protein representation learning and formulate it in a general and unified framework. Next, we divide existing PRL methods into three main categories: sequence-based, structure-based, and sequence-structure co-modeling. Finally, we discuss some technical challenges and potential directions for improving protein representation learning. The latest advances in PRL methods are summarized in a GitHub repository https://github.com/LirongWu/awesome-protein-representation-learning.

研究动机与目标

• 为生物信息学背景有限的AI研究人员提供一个及时且易于入门的蛋白质表征学习（PRL）切入点。
• 通过基于模型架构、掩码任务和下游应用的系统性分类，统一回顾并整合现有PRL方法。
• 识别当前PRL研究中的技术局限性，并提出五个推动该领域发展的关键未来方向。
• 整理并筛选一份全面的PRL方法及开源实现列表，发布于公共GitHub仓库，以供社区使用。

提出的方法

• 本文将PRL置于一个通用的两阶段框架内：使用多个掩码任务和可学习投影头进行预训练，随后在下游任务上进行微调。
• 提出一种统一的图表示法来描述蛋白质，形式为 $\mathcal{G}=(\mathcal{V},\mathcal{E},\mathcal{X},\mathcal{F})$，其中节点代表具有序列和三维结构特征的氨基酸残基，边编码空间关系与序列关系。
• 作者将PRL方法分为三类：基于序列的方法（如在氨基酸序列上使用Transformer或LSTM）、基于结构的方法（如在三维坐标上使用几何深度学习）以及序列-结构联合建模方法（如联合建模一维序列与三维结构）。
• 综述强调对比学习和掩码自编码作为关键的掩码任务，损失函数表示为 $\mathcal{L}_{pre}^{(k)}(\theta,\eta_k)$，并与特定任务的微调联合优化。
• 倡导通过整合生物物理先验知识和蛋白质特异性归纳偏置，实现领域感知的模型设计，超越直接从自然语言处理（NLP）迁移的模式。
• 本文提出建立一个公共GitHub仓库，用于整理方法、代码和基准测试，以支持可复现性与未来研究发展。

实验结果

研究问题

• RQ1 如何基于模型架构、掩码任务和应用场景，系统性地对蛋白质表征学习进行分类？
• RQ2 当前PRL方法在泛化能力和可解释性方面面临哪些关键技术挑战？
• RQ3 为何当前PRL的评估体系呈现碎片化？统一协议如何提升公平性并推动领域进展？
• RQ4 现有受NLP启发的架构在蛋白质数据上的适应程度如何？设计蛋白质特异性模型有何优势？
• RQ5 如何最小化预训练与微调之间的差距，以提升在多样化下游任务中的迁移性能？

主要发现

• 综述识别出三种主要PRL范式：基于序列、基于结构以及序列-结构联合建模，各类方法在架构与预训练策略上各具特点。
• 尽管性能优异，当前PRL方法常因数据集、指标和模型设计不一致而产生不公平比较，凸显了制定标准化评估协议的迫切需求。
• PRL领域在模型可解释性方面存在严重不足，对模型学习的序列基序或结构特征理解有限，尤其在药物发现等敏感应用中尤为突出。
• 目前尚未充分挖掘一维氨基酸序列与三维结构之间的对应关系，表明未来在联合序列-结构建模方面存在巨大潜力。
• 现有的预训练策略已相当先进，但针对蛋白质数据特异性差异和标签稀缺性的微调技术仍发展不足。
• 作者整理了一个公共GitHub仓库，收录超过100种PRL方法及其开源实现，为未来研究提供了基础性资源。