[论文解读] Learning from Protein Structure with Geometric Vector Perceptrons

Bowen Jing, Stephan Eismann+3 more|arXiv (Cornell University)|Sep 3, 2020

Computational Drug Discovery Methods参考文献 41被引用 193

一句话总结

引入几何向量感知器（GVPs）以扩展图神经网络，进行蛋白质结构的几何与关系推理双重处理，在计算蛋白质设计和模型质量评估方面达到最新的结果。

ABSTRACT

Learning on 3D structures of large biomolecules is emerging as a distinct area in machine learning, but there has yet to emerge a unifying network architecture that simultaneously leverages the graph-structured and geometric aspects of the problem domain. To address this gap, we introduce geometric vector perceptrons, which extend standard dense layers to operate on collections of Euclidean vectors. Graph neural networks equipped with such layers are able to perform both geometric and relational reasoning on efficient and natural representations of macromolecular structure. We demonstrate our approach on two important problems in learning from protein structure: model quality assessment and computational protein design. Our approach improves over existing classes of architectures, including state-of-the-art graph-based and voxel-based methods. We release our code at https://github.com/drorlab/gvp.

研究动机与目标

• 将生物分子结构的学习中的几何推理与关系推理相结合，通过将类CNN的几何处理与GNNs统一起来。
• 开发一个旋转等变网络层，直接对向量特征进行操作，以在图传播过程中保持几何信息。
• 将该方法在两个蛋白质结构学习任务上进行演示：计算蛋白质设计（CPD）和模型质量评估（MQA）。
• 表明 GVP-GNN 在 CPD 和 MQA 基准测试上优于现有架构。

提出的方法

• 引入几何向量感知器（GVPs），对标量特征 s ∈ R^n 和向量特征 V ∈ R^{ν×3} 进行运算，输出 s' ∈ R^m 和 V' ∈ R^{μ×3}。
• GVPs 将变换后向量的 L2 范数连接起来以提取旋转不变信息，然后对标量与向量分别应用线性与非线性变换。
• 证明 GVPs 在三维旋转/镜像下的等变性/不变性，并展示对旋转与镜像不变标量的通用逼近性质。
• 引入向量通道丢弃和向量层归一化以稳定训练。
• 通过在消息传递步骤中使用 GVPs 构建 GVP-GNN，边/节点特征为标量和向量，表示蛋白质骨架。
• 将蛋白质表示为邻近图，骨架原子为节点，邻居边特征包含定向向量、通过高斯基底的距离以及骨架相对编码。

实验结果

研究问题

• RQ1 GVPs 是否能够使图神经网络在蛋白质结构的几何和关系方面进行联合推理？
• RQ2 与最先进的结构基与序列基方法相比，GVP-GNN 在 CPD 和 MQA 基准测试中是否提升性能？
• RQ3 同时使用标量和向量特征与仅使用标量或仅使用向量对性能的影响如何？
• RQ4 架构消融（例如移除 Wμ、仅使用标量/向量）对 CPD 和 MQA 的结果有何影响？
• RQ5 GVP-GNN 与现有 GNNs 和 3D CNNs 在 CASP 时代数据集上的对比如何？

主要发现

• GVP-GNN 在 CATH 4.2 CPD 基准上实现了最先进的困惑度( perplexity )与序列恢复，超越 Structured Transformer 和 Structured GNN 变体。
• 在 TS50 上，GVP-GNN 实现 44.9% 的恢复，超过 Rosetta 的 30%，并胜过基于三种表示类别的方法。
• 在 MQA 中，GVP-GNN 在 CASP 11-12 基准上取得高于单一结构、仅结构方法的全局和每目标相关性，并在 CASP 13 上超过顶级仅结构方法。
• GVP 消融显示，去除任一标量或向量通路都会降低性能，双标量/向量设计对获得最佳结果至关重要；移除 Wμ 也会略微降低性能。
• 总体而言，GVP-GNN 提供了一种轻量级的等变替代方案，适用于高阶张量方法，在 CPD 和 MQA 任务中表现出色。