[论文解读] A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation

Yongkang Wang, Xuan Liu+3 more|arXiv (Cornell University)|Dec 25, 2023

vaccines and immunoinformatics approaches被引用 5

一句话总结

该论文提出MMCD，一种多模态对比扩散模型，通过在每个扩散步骤中整合序列与结构信息，并采用模态间和模态内对比学习，联合生成治疗性肽序列和3D结构。该方法在生成高质量、多样化治疗性肽方面优于最先进模型，显著提升了抗菌/抗癌评分，并增强了肽-对接亲和力。

ABSTRACT

Therapeutic peptides represent a unique class of pharmaceutical agents crucial for the treatment of human diseases. Recently, deep generative models have exhibited remarkable potential for generating therapeutic peptides, but they only utilize sequence or structure information alone, which hinders the performance in generation. In this study, we propose a Multi-Modal Contrastive Diffusion model (MMCD), fusing both sequence and structure modalities in a diffusion framework to co-generate novel peptide sequences and structures. Specifically, MMCD constructs the sequence-modal and structure-modal diffusion models, respectively, and devises a multi-modal contrastive learning strategy with intercontrastive and intra-contrastive in each diffusion timestep, aiming to capture the consistency between two modalities and boost model performance. The inter-contrastive aligns sequences and structures of peptides by maximizing the agreement of their embeddings, while the intra-contrastive differentiates therapeutic and non-therapeutic peptides by maximizing the disagreement of their sequence/structure embeddings simultaneously. The extensive experiments demonstrate that MMCD performs better than other state-of-theart deep generative methods in generating therapeutic peptides across various metrics, including antimicrobial/anticancer score, diversity, and peptide-docking.

研究动机与目标

• 为解决现有深度生成模型仅关注肽序列或结构之一的局限性，从而导致治疗性肽生成效果不佳。
• 在扩散框架中有效整合多模态信息（序列与结构），以提升生成质量与多样性。
• 通过利用大量非治疗性肽作为数据增强，缓解因治疗性肽数据有限导致的性能下降问题。
• 通过在每个扩散时间步采用对比学习策略，提升模型泛化能力并增强模态间对齐。

提出的方法

• MMCD采用独立的扩散模型分别处理序列与结构模态，实现残基序列与骨架原子坐标的联合生成。
• 引入模态间对比学习（Inter-CL），在每个扩散步骤中最大化序列与结构模态之间的嵌入一致性，以对齐不同模态的表示。
• 引入模态内对比学习（Intra-CL），通过最大化治疗性与非治疗性肽之间的嵌入差异，提升模型的判别能力与泛化性能。
• 在每个扩散时间步应用对比学习，以对齐多模态表示，并有效区分治疗性与非治疗性肽的分布。
• 利用已知的非治疗性肽作为数据增强手段，提升在低数据场景下的泛化能力。
• 框架通过端到端训练，将对比目标集成到扩散过程中，实现一致且高保真的联合生成。

实验结果

研究问题

• RQ1 能否证明一种联合生成肽序列与3D结构的多模态扩散模型，在治疗性肽生成方面优于单模态生成模型？
• RQ2 模态间对比学习在扩散过程中对对齐序列与结构嵌入的有效性如何？
• RQ3 当治疗性肽数据有限时，模态内对比学习在多大程度上提升了模型泛化能力？
• RQ4 在每个扩散步骤中集成对比学习，是否能增强生成肽的多样性与生物相关性？
• RQ5 与最先进方法相比，该模型在下游分子对接任务中的表现如何？

主要发现

• MMCD在生成治疗性肽方面显著优于最先进基线模型，尤其在抗菌与抗癌活性评分上表现突出。
• 该模型生成的肽序列更具多样性，尤其在短肽中表现明显，t-SNE可视化与多样性指标均支持此结论。
• 消融实验表明，若移除Inter-CL或Intra-CL，性能均出现下降，证明两种对比组件均不可或缺。
• t-SNE可视化显示，Inter-CL成功对齐了序列与结构的嵌入，捕捉到模态间的共享特征。
• Intra-CL有效分离了治疗性与非治疗性肽的嵌入分布，减少了分布偏差，并拓展了新型肽的搜索空间。
• 分子对接结果表明，MMCD生成的结构获得了最高的对接分数，且其结合相互作用与参考肽最为相似。