[论文解读] DiffPack: A Torsional Diffusion Model for Autoregressive Protein Side-Chain Packing

Yangtian Zhan, Zuobai Zhang+3 more|arXiv (Cornell University)|Jun 1, 2023

Protein purification and stability被引用 16

一句话总结

DiffPack 引入了一种自回归扭转扩散模型，通过对四个侧链扭转角的联合分布进行建模来预测蛋白质侧链构象，在参数显著更少的情况下实现了领先的角度精度，并提升 AlphaFold2 的侧链预测。

ABSTRACT

Proteins play a critical role in carrying out biological functions, and their 3D structures are essential in determining their functions. Accurately predicting the conformation of protein side-chains given their backbones is important for applications in protein structure prediction, design and protein-protein interactions. Traditional methods are computationally intensive and have limited accuracy, while existing machine learning methods treat the problem as a regression task and overlook the restrictions imposed by the constant covalent bond lengths and angles. In this work, we present DiffPack, a torsional diffusion model that learns the joint distribution of side-chain torsional angles, the only degrees of freedom in side-chain packing, by diffusing and denoising on the torsional space. To avoid issues arising from simultaneous perturbation of all four torsional angles, we propose autoregressively generating the four torsional angles from $χ_1$ to $χ_4$ and training diffusion models for each torsional angle. We evaluate the method on several benchmarks for protein side-chain packing and show that our method achieves improvements of $11.9\%$ and $13.5\%$ in angle accuracy on CASP13 and CASP14, respectively, with a significantly smaller model size ($60 imes$ fewer parameters). Additionally, we show the effectiveness of our method in enhancing side-chain predictions in the AlphaFold2 model. Code is available at https://github.com/DeepGraphLearning/DiffPack.

研究动机与目标

• 动机与解决在给定固定主链结构的情况下预测侧链构象的挑战。
• 将侧链打包中的确切自由度建模为扭转角而非笛卡尔坐标。
• 提出一个自回归扩散框架，以 SE(3) 不变的引导生成侧链扭转 χ1–χ4。
• 在 CASP13/CASP14 基准和非原生骨架上评估，以展示准确性和效率。

提出的方法

• 在扭转空间建模侧链构象，将变量简化为四个扭转角 χ1–χ4（按残基特定数量）。
• 在扭转空间应用前向方差爆炸随机微分方程，并学习分数函数以在扭转域去噪。
• 使用自回归分解 p(χ1,χ2,χ3,χ4)=p(χ1)·p(χ2|χ1)·p(χ3|χ1,χ2)·p(χ4|χ1,χ2,χ3)，为每个 χi 使用独立的扩散模型。
• 使用基于 GearNet-Edge 的 SE(3)-不变评分网络，从主链和部分生成的侧链预测扭转角。
• 在训练中采用 teacher-forcing，将扰动限定在目标扭转角上，以避免累积畸变。
• 通过多轮去噪、退火温度采样和置信度模型来提升采样，筛选高质量构象。
• 通过调整扩散核来处理 π 旋转对称性，以考虑等效扭转状态。

Figure 1 : Overview of DiffPack. Given a protein sequence and backbone structure, we aim to model the conditional distribution of side-chain conformation. (A) Distribution of side-chain conformation is modeled through diffusion process in torsion space $\mathbb{T}^{m}$ . An SE(3)-invariant network i

实验结果

研究问题

• RQ1 在扭转空间建模侧链打包是否比笛卡尔坐标方法更好地尊重共价键约束？
• RQ2 对 χ1–χ4 进行自回归扩散是否比对四个角联合扩散在生成稳定性和准确性方面更优？
• RQ3 相较于最先进的方法，DiffPack 在 CASP13/14 和非原生骨架（如 AlphaFold2）上的表现如何？
• RQ4 在保持或提高准确性的同时，DiffPack 的模型规模是否显著更小？
• RQ5 采样增强（多轮、退火、置信度模型）是否提升推断质量？

主要发现

• DiffPack 在 CASP13 和 CASP14 的角度精度分别提升了 11.9% 和 13.5%。
• 该模型的参数量约比先前的最先进方法 AttnPacker 少约 60 倍。
• DiffPack 在 CASP13 和 CASP14 的 χ1–χ4 以及所有/各自残基类别上获得最佳角度 MAE 和角度准确度。
• 在 AlphaFold2 的非原生骨架上，DiffPack 在大多数指标上持续优于 AlphaFold2 和其他基线。
• 自回归扩散（χ1→χ4）在训练稳定性和最终质量上都优于联合扩散和随机扩散基线。
• 该方法保持化学有效性（键长/键角），并且能够揭示如 π–π 堆叠等相互作用，无需额外先验。

Figure 2 : Illustration of four torsional angles.