[论文解读] DiffSDS: A language diffusion model for protein backbone inpainting under geometric conditions and constraints

Zhangyang Gao, Cheng Tan+1 more|arXiv (Cornell University)|Jan 22, 2023

Protein Structure and Dynamics被引用 7

一句话总结

DiffSDS 提出了一种新颖的扩散模型，通过将隐藏的原子方向空间（ADS）整合到语言模型中，实现几何约束下的蛋白质骨架补全。通过将骨架二面角转换为方向向量以实现高效的约束强制执行，并使用可微分的 Seq2Direct 和 Direct2Seq 模块，DiffSDS 在连通性、非重叠性和可设计性指标上均达到最先进性能，同时保持了基于 Transformer 建模的简洁性。

ABSTRACT

Have you ever been troubled by the complexity and computational cost of SE(3) protein structure modeling and been amazed by the simplicity and power of language modeling? Recent work has shown promise in simplifying protein structures as sequences of protein angles; therefore, language models could be used for unconstrained protein backbone generation. Unfortunately, such simplification is unsuitable for the constrained protein inpainting problem, where the model needs to recover masked structures conditioned on unmasked ones, as it dramatically increases the computing cost of geometric constraints. To overcome this dilemma, we suggest inserting a hidden extbf{a}tomic extbf{d}irection extbf{s}pace ( extbf{ADS}) upon the language model, converting invariant backbone angles into equivalent direction vectors and preserving the simplicity, called Seq2Direct encoder ($ ext{Enc}_{s2d}$). Geometric constraints could be efficiently imposed on the newly introduced direction space. A Direct2Seq decoder ($ ext{Dec}_{d2s}$) with mathematical guarantees is also introduced to develop a extbf{SDS} ($ ext{Enc}_{s2d}$+$ ext{Dec}_{d2s}$) model. We apply the SDS model as the denoising neural network during the conditional diffusion process, resulting in a constrained generative model-- extbf{DiffSDS}. Extensive experiments show that the plug-and-play ADS could transform the language model into a strong structural model without loss of simplicity. More importantly, the proposed DiffSDS outperforms previous strong baselines by a large margin on the task of protein inpainting.

研究动机与目标

• 为解决在保持语言模型简洁性的同时，高效强制执行蛋白质骨架补全中的几何约束的挑战。
• 克服传统基于 SE(3) 的模型在约束生成任务中计算效率低下且结构复杂的问题。
• 实现高保真度的蛋白质结构生成，同时尊重空间约束，如末端连接性和与现有结构的非重叠性。
• 开发一种即插即用的框架，将标准语言模型转化为强大的结构生成模型，而不牺牲模型简洁性。
• 通过确保与下游折叠和合成的兼容性，提升生成蛋白质骨架的可设计性。

提出的方法

• 引入隐藏的原子方向空间（ADS），将不变的骨架二面角转换为方向向量，以实现高效的几何计算。
• 提出 Seq2Direct 编码器（$\text{Enc}_{\text{s2d}}$），将序列级特征映射到方向空间，保持几何一致性。
• 开发 Direct2Seq 解码器（$\text{Dec}_{\text{d2s}}$），具备数学保证以确保可逆性和结构保真度。
• 构建 SDS 模型（$\text{Enc}_{\text{s2d}}$ + $\text{Dec}_{\text{d2s}}$），在角度序列上运行，同时实现在方向空间中的约束强制执行。
• 将 SDS 模型用作条件扩散过程中的去噪网络，形成 DiffSDS 框架。
• 直接在方向空间中施加几何约束（如末端连接性和非重叠性），以确保结构有效性。

实验结果

研究问题

• RQ1 语言模型能否在保持计算简洁性的同时，被适配用于执行约束性蛋白质骨架补全？
• RQ2 在基于序列的生成模型中，如何高效强制执行如末端连接性和非重叠性等几何约束？
• RQ3 与纯序列建模相比，插入基于方向的潜在空间是否能提升生成蛋白质骨架的保真度和有效性？
• RQ4 所提出方法在结构准确性和可设计性方面，相对于强基线模型的优越程度如何？
• RQ5 显式的几何约束以及序列/长度条件对模型性能的贡献有多大？

主要发现

• 对于掩码长度 <10，DiffSDS 的连通性误差为 6.93；对于 10–15，为 9.93；对于 >15，为 10.61，显著优于 RFDesign 和 FoldingDiff 在所有长度下的表现。
• 在 1Å 阈值下的非重叠得分，DiffSDS 为 270（RFDesign 为 280，FoldingDiff 为 276），表明其与未掩码区域的空间分离性更优。
• 在完整测试集中，DiffSDS 生成了 231 个可设计的骨架（scTM > 0.5），优于 CFoldingDiff（217）和 RFDesign（178），在长蛋白质（>70 个残基）上实现了 10% 的相对提升。
• DiffSDS 的平均 scTM 得分为 0.56，超过 CFoldingDiff（0.54）和 RFDesign（0.51），中位数为 0.55，表明结构一致性更高。
• 消融研究证实，方向空间中的几何约束至关重要：移除这些约束会增加长度和重叠损失，降低结构有效性。
• 该模型在不同掩码长度下保持一致性能，退化极小，而 FoldingDiff 的连通性误差随掩码长度增加而上升。