[论文解读] A Systematic Study of Joint Representation Learning on Protein Sequences and Structures

Zuobai Zhang, Wang, Chuanrui+5 more|arXiv (Cornell University)|Mar 11, 2023

Machine Learning in Bioinformatics被引用 26

一句话总结

本文研究将蛋白质语言模型（ESM-2）与结构编码器（GVP、GearNet、CDConv）结合，使用三种融合策略和六种预训练方法，以实现蛋白质功能注释和结构相关任务的最新水平。

ABSTRACT

Learning effective protein representations is critical in a variety of tasks in biology such as predicting protein functions. Recent sequence representation learning methods based on Protein Language Models (PLMs) excel in sequence-based tasks, but their direct adaptation to tasks involving protein structures remains a challenge. In contrast, structure-based methods leverage 3D structural information with graph neural networks and geometric pre-training methods show potential in function prediction tasks, but still suffers from the limited number of available structures. To bridge this gap, our study undertakes a comprehensive exploration of joint protein representation learning by integrating a state-of-the-art PLM (ESM-2) with distinct structure encoders (GVP, GearNet, CDConv). We introduce three representation fusion strategies and explore different pre-training techniques. Our method achieves significant improvements over existing sequence- and structure-based methods, setting new state-of-the-art for function annotation. This study underscores several important design choices for fusing protein sequence and structure information. Our implementation is available at https://github.com/DeepGraphLearning/ESM-GearNet.

研究动机与目标

• 通过整合序列与结构信息，推动并使得有效的联合蛋白质表征学习成为可能。
• 系统比较三种融合策略（串行、并行、跨模态）用于结合 PLM 与结构编码器。
• 评估六种预训练技术，以利用未标注的序列和结构数据，包括 AlphaFold 数据库预训练。
• 展示在蛋白质功能注释（EC、GO）和结构相关任务（PSR、MSP）上的性能提升。

提出的方法

• 使用最先进的 PLM（ESM-2）与三种结构编码器（GVP、GearNet、CDConv）。
• 引入三种融合方案：串行融合（结构编码器输入从 PLM 输出初始化）、并行融合（连接序列和结构表征）、以及跨融合（模态之间的交叉注意力）。
• 在训练过程中对 PLM 使用较低学习率，以保护预训练表征。
• 在 AlphaFold 数据库的未标记数据上对联合编码器进行六个目标的预训练（残基类型、距离、角度、二面角、多视角对比、SiamDiff）。
• 探索六种预训练方法：残基类型预测、距离预测、角度预测、二面角预测、多视角对比、SiamDiff（基于扩散）。
• 使用蛋白质为中心的 F-max、AUROC 和 Spearman 相关性在 EC、GO（BP/MF/CC）、PSR、MSP 任务上进行评估；并与 SOTA 基线进行比较。

实验结果

研究问题

• RQ1 将 PLM 与结构编码器结合，是否能在蛋白质功能与结构任务上超越单模态模型？
• RQ2 哪种融合策略在跨任务中最好地利用双模态序列-结构信息？
• RQ3 哪些预训练目标最能提升联合序列-结构表征以用于功能和结构预测？
• RQ4 在与结构编码器联合训练时，保留 PLM 表征有多么关键？
• RQ5 联合表征是否在 EC 和 GO 注释上取得新的最先进性能？

主要发现

• 串行融合在大多数任务上始终优于其他融合策略。
• 降低 PLM 的学习率对于防止遗忘并维持性能提升至关重要。
• GearNet 虽然单独时较弱，但在与 PLMs 集成后获益显著，尤其是在 EC 和 GO 任务上。
• 同时具备序列和结构目标的联合预训练比单独使用任一模态取得更好的性能。
• 多视角对比和 SiamDiff 成为顶尖预训练方法，其中多视角对比有助于功能注释，SiamDiff 有助于结构相关任务。
• 提出的 ESМ-GearNet 方法在 Enzyme Commission（EC）和 Gene Ontology（GO）注释任务上达到新的最先进水平，在 PSR 和 MSP 任务上也具有竞争力的结果。