[论文解读] Contrastive Representation Learning for 3D Protein Structures

Pedro Hermosilla, Timo Ropinski|arXiv (Cornell University)|May 31, 2022

Protein Structure and Dynamics被引用 25

一句话总结

本文提出一个领域特定的对比学习框架，用于对3D蛋白质结构的表征进行预训练，从而在蛋白质相似性、折叠分类、功能预测和蛋白-配体结合亲和力任务上实现性能提升。预训练模型往往在从零开始的基线之上表现更好，在多项任务上达到最先进或有竞争力的结果。

ABSTRACT

Learning from 3D protein structures has gained wide interest in protein modeling and structural bioinformatics. Unfortunately, the number of available structures is orders of magnitude lower than the training data sizes commonly used in computer vision and machine learning. Moreover, this number is reduced even further, when only annotated protein structures can be considered, making the training of existing models difficult and prone to over-fitting. To address this challenge, we introduce a new representation learning framework for 3D protein structures. Our framework uses unsupervised contrastive learning to learn meaningful representations of protein structures, making use of proteins from the Protein Data Bank. We show, how these representations can be used to solve a large variety of tasks, such as protein function prediction, protein fold classification, structural similarity prediction, and protein-ligand binding affinity prediction. Moreover, we show how fine-tuned networks, pre-trained with our algorithm, lead to significantly improved task performance, achieving new state-of-the-art results in many tasks.

研究动机与目标

• 通过利用PDB的未标签结构，在有限标注的3D蛋白质结构数据上推动学习。
• 开发一个对比学习框架，产生同一蛋白质的随机子结构的不变表征。
• 设计一个蛋白质特定的图编码器，捕获3D结构的空间和定向信息。
• 证明预训练表征在下游任务如结构相似性、折叠分类、功能预测和结合亲和力方面的提升。

提出的方法

• 将蛋白质表示为图，节点为带局部定向框架的氨基酸Cα位置，具有多重特征。
• 使用领域专用的子结构采样，从同一蛋白质创建正样本，从其他蛋白质中创建负样本。
• 应用一个两分支编码器（图编码器E和MLP投影P）以获得潜在表示h和z，并使用温度τ的基于余弦的对比损失进行优化。
• 计算边特征（局部坐标系中的相对位置、框架取向、最短路径距离）以构建具空间感知的图卷积操作。
• 实现一个分层蛋白编码器，包含ResNet样块和图池化，在传播信息的同时保持平移不变性和旋转等变性。
• 采用基于距离的门控的平滑感受野，以管理邻域影响并避免在截止距离d处的不连续性。

实验结果

研究问题

• RQ1 在未标记的3D蛋白质结构上进行无监督对比学习，能否为下游任务产生有用的表征？
• RQ2 领域感知的子结构采样和蛋白质特定的图编码器是否相较于通用图方法提升表征质量？
• RQ3 预训练表征在蛋白质结构相似性、折叠分类、功能预测和结合亲和力预测等任务中的迁移程度有多大？

主要发现

• 预训练表征在跨多个数据集和度量的蛋白质结构相似性任务上提升了性能。
• 微调预训练的蛋白质编码器通常在若干任务上获得最佳结果，有时超越从零开始的模型，而在某些相似性任务中，使用固定表示与一个MLP也显示出显著收益。
• 学习到的表征在折叠分类、GO术语预测、酶反应分类和结合亲和力预测等方面在不同序列相似性条件下实现了最先进或有竞争力的结果。
• 所提出的框架使得相似性计算更快（潜在空间中的点积），相较于传统方法，运行时显著减少。