[论文解读] DeepGATGO: A Hierarchical Pretraining-Based Graph-Attention Model for Automatic Protein Function Prediction

Zihao Li, Changkun Jiang+1 more|arXiv (Cornell University)|Jul 24, 2023

Bioinformatics and Genomic Networks被引用 5

一句话总结

DeepGATGO 是一种仅基于序列的分层模型，用于自动蛋白质功能预测，其利用 ESM-1b 获取蛋白质序列嵌入，利用 BioBERT 获取 GO 术语语义表示，并通过对比学习的图注意力网络（GATs）捕捉基因本体（GO）术语的分层结构。该模型在 CAFA3 和 TALE 数据集上达到最先进性能，展现出卓越的可扩展性和跨物种泛化能力，且无需依赖结构或相互作用数据。

ABSTRACT

Automatic protein function prediction (AFP) is classified as a large-scale multi-label classification problem aimed at automating protein enrichment analysis to eliminate the current reliance on labor-intensive wet-lab methods. Currently, popular methods primarily combine protein-related information and Gene Ontology (GO) terms to generate final functional predictions. For example, protein sequences, structural information, and protein-protein interaction networks are integrated as prior knowledge to fuse with GO term embeddings and generate the ultimate prediction results. However, these methods are limited by the difficulty in obtaining structural information or network topology information, as well as the accuracy of such data. Therefore, more and more methods that only use protein sequences for protein function prediction have been proposed, which is a more reliable and computationally cheaper approach. However, the existing methods fail to fully extract feature information from protein sequences or label data because they do not adequately consider the intrinsic characteristics of the data itself. Therefore, we propose a sequence-based hierarchical prediction method, DeepGATGO, which processes protein sequences and GO term labels hierarchically, and utilizes graph attention networks (GATs) and contrastive learning for protein function prediction. Specifically, we compute embeddings of the sequence and label data using pre-trained models to reduce computational costs and improve the embedding accuracy. Then, we use GATs to dynamically extract the structural information of non-Euclidean data, and learn general features of the label dataset with contrastive learning by constructing positive and negative example samples. Experimental results demonstrate that our proposed model exhibits better scalability in GO term enrichment analysis on large-scale datasets.

研究动机与目标

• 解决现有蛋白质功能预测方法依赖稀缺或不准确的结构与相互作用数据的局限性。
• 通过仅利用蛋白质序列，提升大规模多标签 GO 术语预测的性能。
• 利用图注意力机制有效建模 GO 术语的分层非欧几里得结构。
• 通过在 GO 术语嵌入上进行对比学习，增强特征表示，提升在多样化生物物种间的泛化能力。
• 开发一种可扩展且泛化能力强的模型，在注释充分与注释稀疏的蛋白质序列上均表现优异。

提出的方法

• 使用 ESM-1b 从蛋白质氨基酸序列计算上下文相关的嵌入表示。
• 应用 BioBERT 生成基因本体（GO）术语的语义嵌入。
• 基于父-子关系构建 GO 术语的有向无环图（DAG），以建模其分层结构。
• 采用多头图注意力网络（GATs）动态学习 GO 术语之间的结构依赖关系。
• 通过构建 GO 术语嵌入的正样本对与负样本对，引入对比学习以增强表示学习。
• 通过可学习的注意力机制融合序列与 GO 术语表示，并引入可学习超参数 δ 以平衡结构信息与语义信息。

实验结果

研究问题

• RQ1 仅使用蛋白质序列而无需依赖结构或相互作用数据的蛋白质功能预测模型，能否实现最先进性能？
• RQ2 图注意力网络在非欧几里得的 DAG 型标签空间中，能否有效捕捉基因本体（GO）术语的分层结构？
• RQ3 在功能预测中，GO 术语表示的结构信息（来自 GAT）与语义信息（来自 BioBERT）之间，最优平衡点为何？
• RQ4 对比学习在多标签蛋白质功能预测中，如何提升 GO 术语嵌入的泛化能力与鲁棒性？
• RQ5 GAT 层中注意力头的数量对性能的影响程度如何？其在可扩展性与准确性之间达到最优配置的条件是什么？

主要发现

• 在 CAFA3 数据集上，DeepGATGO 在 MFO 领域取得最高 F1 得分为 0.617，BPO 领域为 0.528，CCO 领域为 0.679，优于以往仅基于序列的模型。
• 模型性能在 δ = 0.5 或 0.6 时达到最大值，表明来自 GAT 的结构信息对预测准确率的贡献大于语义信息。
• GAT 层使用 8 个注意力头时性能最优，超过该数量后收益递减且波动增加。
• 对比学习显著提升了模型区分相关与无关 GO 术语的能力，增强了跨物种的泛化性能。
• 该模型展现出强大的可扩展性与泛化能力，在注释充分（CAFA3）与注释稀疏（TALE）的数据集上均表现优异。
• 预训练的序列与 GO 术语嵌入的融合显著降低了计算成本，同时提升了嵌入质量与预测准确性。