[论文解读] A Review of Deep Learning Techniques for Protein Function Prediction

Divyanshu Aggarwal, Yasha Hasija|arXiv (Cornell University)|Oct 27, 2022

Machine Learning in Bioinformatics被引用 6

一句话总结

本综述整合了深度学习在蛋白质功能预测中的最新进展，重点介绍了来自计算机视觉、自然语言处理（NLP）和多模态学习的最先进模型。它强调了这些技术如何提升功能注释的准确性和可扩展性，为计算生物学和人工智能驱动的生命科学领域的研究人员提供了全面的路线图。

ABSTRACT

Deep Learning and big data have shown tremendous success in bioinformatics and computational biology in recent years; artificial intelligence methods have also significantly contributed in the task of protein function classification. This review paper analyzes the recent developments in approaches for the task of predicting protein function using deep learning. We explain the importance of determining the protein function and why automating the following task is crucial. Then, after reviewing the widely used deep learning techniques for this task, we continue our review and highlight the emergence of the modern State of The Art (SOTA) deep learning models which have achieved groundbreaking results in the field of computer vision, natural language processing and multi-modal learning in the last few years. We hope that this review will provide a broad view of the current role and advances of deep learning in biological sciences, especially in predicting protein function tasks and encourage new researchers to contribute to this area.

研究动机与目标

• 为计算生物学中应用于蛋白质功能预测的深度学习技术提供全面概述。
• 分析来自计算机视觉、自然语言处理（NLP）和多模态学习的前沿深度学习模型在生物功能预测任务中的整合。
• 突出自监督和多模态预训练对功能注释准确性和可扩展性的变革性影响。
• 识别利用深度学习自动化蛋白质功能分类所面临的重大挑战与机遇。
• 为新进入人工智能驱动的生物功能预测领域的研究人员提供参考和推动作用。

提出的方法

• 系统性回顾用于蛋白质功能预测的深度学习架构，包括图神经网络、变换器（transformers）和多模态编码器。
• 分析自监督预训练策略，如对比学习和掩码建模，这些策略源自自然语言处理（NLP）和视觉领域，并被适配于蛋白质序列和结构。
• 检查结合蛋白质序列、结构和基因表达数据的多模态融合技术，以提升功能推断性能。
• 使用精确率、召回率和F1分数等指标，在标准基准（如基因本体论（GO）注释任务）上评估模型性能。
• 在低资源功能注释场景下，比较监督学习、弱监督学习和零样本迁移学习方法的性能。
• 综合蛋白质特定深度学习框架中的架构创新，如注意力机制和残差连接。

实验结果

研究问题

• RQ1 近期来自计算机视觉和自然语言处理（NLP）的深度学习模型如何被适配用于蛋白质功能预测？
• RQ2 在最先进模型中，哪些关键的架构和训练创新显著提升了功能注释的准确性？
• RQ3 多模态学习方法在哪些方面超越了基于序列的方法，从而增强蛋白质功能预测？
• RQ4 自监督预训练和迁移学习如何缓解功能注释任务中的数据稀缺问题？
• RQ5 在大规模、高精度蛋白质功能预测中部署深度学习时，仍存在哪些局限性和开放性挑战？

主要发现

• 最先进深度学习模型，特别是那些利用自监督预训练和多模态整合的模型，在基因本体论（GO）基准测试中显著提升了蛋白质功能预测性能。
• 变换器（Transformers）和图神经网络在捕捉蛋白质序列和结构中的长程依赖关系和结构上下文方面表现出色。
• 结合序列、结构和组学数据的多模态模型相比单模态基线模型取得了更高的F1分数，尤其在数据量较少的情况下表现更优。
• 通过在多样化生物序列上进行大规模预训练，实现的迁移学习可支持零样本和少样本功能预测，从而减少对昂贵人工注释的依赖。
• 对比学习和掩码建模技术的整合，使蛋白质功能分类的表示更加鲁棒和泛化能力强。
• 尽管已取得进展，但在可解释性、大规模蛋白质组的可扩展性以及跨不同物种和功能类别的泛化能力方面，仍存在挑战。