[论文解读] H-Packer: Holographic Rotationally Equivariant Convolutional Neural Network for Protein Side-Chain Packing

Gian Marco Visani, William Galvin+2 more|arXiv (Cornell University)|Nov 15, 2023

Protein Structure and Dynamics被引用 5

一句话总结

H-Packer 提出了一种轻量级、旋转等变的深度学习模型，通过全息卷积直接回归蛋白质侧链二面角（$\chi$），在准确度上与基于物理和学习的方法相当，同时比最先进的替代方法（如 AttnPacker 和 DiffPack）显著更快且参数效率更高。

ABSTRACT

Accurately modeling protein 3D structure is essential for the design of functional proteins. An important sub-task of structure modeling is protein side-chain packing: predicting the conformation of side-chains (rotamers) given the protein's backbone structure and amino-acid sequence. Conventional approaches for this task rely on expensive sampling procedures over hand-crafted energy functions and rotamer libraries. Recently, several deep learning methods have been developed to tackle the problem in a data-driven way, albeit with vastly different formulations (from image-to-image translation to directly predicting atomic coordinates). Here, we frame the problem as a joint regression over the side-chains' true degrees of freedom: the dihedral $χ$ angles. We carefully study possible objective functions for this task, while accounting for the underlying symmetries of the task. We propose Holographic Packer (H-Packer), a novel two-stage algorithm for side-chain packing built on top of two light-weight rotationally equivariant neural networks. We evaluate our method on CASP13 and CASP14 targets. H-Packer is computationally efficient and shows favorable performance against conventional physics-based algorithms and is competitive against alternative deep learning solutions.

研究动机与目标

• 开发一种计算高效且准确的蛋白质侧链堆积方法，避免依赖于转子库。
• 通过直接回归真正的自由度——$\chi$ 二面角，解决现有深度学习和基于物理方法的局限性。
• 通过球谐傅里叶空间操作实现旋转等变性，以提升局部蛋白质环境中几何推理的能力。
• 在保持高性能的同时降低模型复杂度和训练成本，实现对有限硬件的可部署性。
• 探索并验证一种基于 $\chi$ 角正弦与余弦变换的几何上合理的损失函数。

提出的方法

• 采用两阶段架构：第一阶段从主链坐标和残基类型预测初始 $\chi$ 角；第二阶段利用邻近侧链原子坐标对预测结果进行精细化。
• 采用在球谐傅里叶空间中运行的全息卷积神经网络（H-CNN），以实现 SO(3) 旋转等变性。
• 通过正弦与余弦变换对 $\chi$ 角进行参数化，以确保周期性并避免损失函数曲面中的不连续性。
• 在全原子结构上进行训练，以学习基于局部原子环境的残基特异性偏好。
• 在 $\sin(\chi)$ 和 $\cos(\chi)$ 上应用几何动机的损失函数，以提升泛化能力和对称性处理能力。
• 通过并行化全息编码计算来优化推理过程，目前该步骤占推理时间的 88%，是主要性能瓶颈。

Figure 1: Overview of H-Packer. A: Illustration of Glutamine’s $\chi$ angles, of which there are three. B: Schematic shows the H-CNN style network for side-chain packing by first predicting the missing residue’s $\chi$ angles from its surrounding atomic environment, and then using the $\chi$ angles

实验结果

研究问题

• RQ1 使用旋转等变网络直接回归 $\chi$ 二面角是否能在侧链堆积任务中优于基于转子库或坐标预测的方法？
• RQ2 与直接角度回归相比，$\chi$ 角的正弦-余弦参数化在损失函数曲面平滑性和预测精度方面表现如何？
• RQ3 轻量级的两阶段架构结合全息卷积在极低参数量和训练成本下能否实现具有竞争力的性能？
• RQ4 H-Packer 在准确度和速度方面与基于物理的方法（如 RosettaPacker）以及最先进的深度学习模型（如 AttnPacker、DiffPack）相比表现如何？
• RQ5 模型的预测是否可以高效并行化？优化迭代次数对速度-精度权衡有何影响？

主要发现

• 在 CASP14 目标上，H-Packer 的 $\chi_1$ 角预测平均误差为 15.8°，优于 RosettaPacker（21.5°）和 SCWRL4（20.1°），并接近 AttnPacker（14.2°）的性能。
• 在全原子重建中，H-Packer 的推理速度是 RosettaPacker 的 7 倍，也是 DLPacker 的 6 倍，其中推理时间的 88% 被全息编码计算占用。
• H-Packer 仅使用 600 万个参数（每阶段 300 万个），比 AttnPacker（2.08 亿个参数）轻 100 倍，且在单张 GPU 上每轮训练时间不足 1 小时。
• 对 $\chi$ 角采用正弦-余弦参数化可带来更稳定且几何一致的损失函数，减少由对称性引起的构象歧义导致的误差。
• 当减少精炼迭代次数（如 2 次 vs. 5 次）时性能略有下降，但速度提升 50%，且精度损失可忽略。
• H-Packer 与其他方法表现出互补性能，表明其学习到了现有模型未能捕捉的结构特征。

Figure 2: Test MAE for the simple task of predicting $\chi$ angles from atomic conformation. Panels show reconstruction accuracies using three loss functions: the angle $\chi$ itself (left), the sin/cos transform of the angle (center), and the normal vectors to the dihedral planes (right), for diffe