[论文解读] Energy-based models for atomic-resolution protein conformations

Yilun Du, Joshua Meier+3 more|arXiv (Cornell University)|Apr 27, 2020

Protein Structure and Dynamics参考文献 47被引用 13

一句话总结

该论文提出了一种基于深度学习的能量模型（EBM），该模型使用Transformer架构，直接从晶体蛋白数据中学习原子分辨率的蛋白质构象能量。该模型仅基于结构数据进行训练，在旋转异构体恢复任务上的表现接近于Rosetta——一种最先进的基于物理和知识的能量函数，证明其能够自动学习到生物相关的物理化学特征。

ABSTRACT

We propose an energy-based model (EBM) of protein conformations that operates at atomic scale. The model is trained solely on crystallized protein data. By contrast, existing approaches for scoring conformations use energy functions that incorporate knowledge of physical principles and features that are the complex product of several decades of research and tuning. To evaluate the model, we benchmark on the rotamer recovery task, the problem of predicting the conformation of a side chain from its context within a protein structure, which has been used to evaluate energy functions for protein design. The model achieves performance close to that of the Rosetta energy function, a state-of-the-art method widely used in protein structure prediction and design. An investigation of the model's outputs and hidden representations finds that it captures physicochemical properties relevant to protein energy.

研究动机与目标

• 开发一种无需人工特征工程的、基于数据的能量函数，用于蛋白质构象。
• 评估深度学习是否能够直接从蛋白质晶体结构中的原子坐标中学习到有意义且具有生物学相关性的能量表征。
• 在旋转异构体恢复任务上对模型进行基准测试，该任务是蛋白质能量函数的标准评估指标。
• 探究模型是否通过其学习到的表征捕捉到了氢键、空间位阻等物理化学性质。
• 探索神经网络能量函数在更广泛的蛋白质设计任务中的潜力，包括侧链优化和逆折叠。

提出的方法

• 该模型采用基于Transformer的架构，将原子坐标集合作为输入，将每个原子视为一个与顺序无关的序列中的标记。
• 通过关注原子之间的成对相互作用，计算给定蛋白质构象的能量得分，从而捕捉复杂且非加性的依赖关系。
• 在大规模晶体蛋白结构数据集上进行端到端训练，损失函数基于预测正确天然旋转异构体构型。
• 训练采用对比学习目标：在相同结构背景下，使真实天然旋转异构体的能量相对于采样的其他旋转异构体最小化。
• 在旋转异构体恢复基准测试中评估模型，判断其是否能将天然旋转异构体排在所有备选构象中的最低能量位置。
• 分析隐藏表征和注意力模式，以评估模型是否学习到了与蛋白质能量相关的可解释特征。

实验结果

研究问题

• RQ1 仅在蛋白质晶体结构上进行训练的神经网络能量模型，能否在预测天然侧链构象方面达到与手工设计的能量函数相当的准确性？
• RQ2 该模型隐式学习到了哪些物理化学特征？这些特征是否与已知的蛋白质稳定性原理一致？
• RQ3 Transformer模型中的注意力机制能否揭示与氢键、空间位阻或疏水堆积相关的有意义模式？
• RQ4 纯数据驱动的能量函数在性能上与已建立的基于物理和基于知识的能量函数（如Rosetta）相比如何？
• RQ5 此类学习到的能量函数在旋转异构体恢复之外的更广泛蛋白质设计任务中，其泛化能力达到何种程度？

主要发现

• 所提出的能量模型在旋转异构体恢复任务上的表现接近最先进的Rosetta能量函数，证明其在无显式物理先验的情况下具备强大的竞争力。
• 该模型能够为天然旋转异构体分配更低的能量，而对非天然构象则赋予更高能量，表明其有效区分了稳定构象。
• 模型中的注意力图在参与氢键和疏水作用的原子上显示出局部化注意力模式，表明其对关键物理化学相互作用具有学习到的敏感性。
• 模型的隐藏表征按残基类型和结构环境呈现出有意义的聚类，表明其捕捉到了具有生物学意义的构象特征。
• 该模型的能量函数能够捕捉原子之间的非加性、高阶依赖关系，例如侧链堆积中的协同效应。
• 结果表明，深度学习能够从结构数据中自动发现复杂且具有生物学相关性的特征，从而减少对专家设计术语的依赖。