[论文解读] Autoregressive Enzyme Function Prediction with Multi-scale Multi-modality Fusion

Dingyi Rong, Wenzhuo Zheng+4 more|arXiv (Cornell University)|Aug 11, 2024

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

MAPred 是一种新颖的自回归深度学习模型，通过双路径网络融合多尺度蛋白质序列与 3Di 结构表征，预测酶的 EC 编号。它在基准数据集上的表现优于现有方法（New-392 上 F1: 0.610，Price 上 F1: 0.493，New-815 上 F1: 0.680），通过利用 EC 编号的分层结构和对功能位点的关注，展现出更高的准确性。

ABSTRACT

Accurate prediction of enzyme function is crucial for elucidating biological mechanisms and driving innovation across various sectors. Existing deep learning methods tend to rely solely on either sequence data or structural data and predict the EC number as a whole, neglecting the intrinsic hierarchical structure of EC numbers. To address these limitations, we introduce MAPred, a novel multi-modality and multi-scale model designed to autoregressively predict the EC number of proteins. MAPred integrates both the primary amino acid sequence and the 3D tokens of proteins, employing a dual-pathway approach to capture comprehensive protein characteristics and essential local functional sites. Additionally, MAPred utilizes an autoregressive prediction network to sequentially predict the digits of the EC number, leveraging the hierarchical organization of EC classifications. Evaluations on benchmark datasets, including New-392, Price, and New-815, demonstrate that our method outperforms existing models, marking a significant advance in the reliability and granularity of protein function prediction within bioinformatics.

研究动机与目标

• 解决现有 EC 编号预测模型仅依赖序列或结构、忽略 EC 编号分层性质的局限性。
• 通过使用 3Di token 融合蛋白质的一级氨基酸序列与三维结构表征，提升功能预测的准确性。
• 通过注意力可视化识别关键功能残基，增强模型的可解释性。
• 构建一种多尺度、多模态框架，以捕捉蛋白质的全局上下文与局部功能基序。
• 通过将 EC 编号预测建模为序列化、自回归任务，建立酶功能预测的新范式。

提出的方法

• MAPred 使用 ProstT5 从蛋白质序列生成 3Di token，实现对蛋白质三维几何结构的结构化表征。
• 采用双路径架构：使用交错的序列-3Di 交叉注意力机制进行全局特征提取，使用卷积神经网络（CNN）进行局部特征提取。
• 模型应用自回归预测头，按顺序逐个预测 EC 编号的四位数字，以建模其分层依赖关系。
• 在网络早期阶段融合多模态输入（序列与 3Di），以实现联合表征学习。
• 使用注意力机制解释模型预测结果，通过在 3D 蛋白质结构上可视化显著性图，识别功能区域。
• 通过禁用单个组件（全局路径、局部路径、自回归头）进行消融研究，以评估其贡献。

实验结果

研究问题

• RQ1 能否通过融合序列与 3Di 结构表征的多模态、多尺度深度学习模型，提升 EC 编号预测的准确性？
• RQ2 将 EC 编号预测建模为自回归序列任务，是否能通过利用分层标签结构提升性能？
• RQ3 模型能否学会关注生物上相关的功能位点，如催化中心与底物结合区域？
• RQ4 全局与局部特征提取路径在预测性能上各自发挥何种独立作用？
• RQ5 多模态输入（序列 + 3Di）在多大程度上优于单模态输入？

主要发现

• MAPred 在 New-392 数据集上取得 F1 得分为 0.610，优于现有模型。
• 在 Price 数据集上，MAPred 取得 F1 得分为 0.493，表明其在具有挑战性且多样的酶集上表现强劲。
• 在 New-815 基准测试中，MAPred 达到 F1 得分为 0.680，表明其在功能预测中具备高泛化能力与精确性。
• 消融研究显示，移除全局特征提取路径导致性能下降最大（New-392 上 F1 从 0.651 降至 0.354），凸显其关键作用。
• 局部特征提取路径也具有显著贡献，尽管低于全局路径，表明局部结构基序的重要性。
• 禁用自回归预测头会降低性能，证实建模 EC 编号层级结构可提升预测准确性。