[論文レビュー] A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation

Yongkang Wang, Xuan Liu+3 more|arXiv (Cornell University)|Dec 25, 2023

vaccines and immunoinformatics approaches被引用数 5

ひとこと要約

本稿では、各拡散ステップにおけるモダリティ内およびモダリティ間の対照学習を用いて、配列と構造情報を統合することで、治療的ペプチド配列と3次元構造を同時に生成するマルチモーダル対照拡散モデルMMCDを提案する。この手法は、優れた抗菌・抗がんスコアと向上したペプチドドッキング親和性を示す高品質で多様な治療的ペプチドの生成において、最先端のモデルを上回る性能を発揮する。

ABSTRACT

Therapeutic peptides represent a unique class of pharmaceutical agents crucial for the treatment of human diseases. Recently, deep generative models have exhibited remarkable potential for generating therapeutic peptides, but they only utilize sequence or structure information alone, which hinders the performance in generation. In this study, we propose a Multi-Modal Contrastive Diffusion model (MMCD), fusing both sequence and structure modalities in a diffusion framework to co-generate novel peptide sequences and structures. Specifically, MMCD constructs the sequence-modal and structure-modal diffusion models, respectively, and devises a multi-modal contrastive learning strategy with intercontrastive and intra-contrastive in each diffusion timestep, aiming to capture the consistency between two modalities and boost model performance. The inter-contrastive aligns sequences and structures of peptides by maximizing the agreement of their embeddings, while the intra-contrastive differentiates therapeutic and non-therapeutic peptides by maximizing the disagreement of their sequence/structure embeddings simultaneously. The extensive experiments demonstrate that MMCD performs better than other state-of-theart deep generative methods in generating therapeutic peptides across various metrics, including antimicrobial/anticancer score, diversity, and peptide-docking.

研究の動機と目的

• 既存の深層生成モデルがペプチド配列または構造の一方しか焦点としないという制限に対処し、最適でない治療的ペプチド生成を回避すること。
• 拡散フレームワーク内に、配列と構造のマルチモーダル情報を効果的に統合し、生成品質と多様性を向上させること。
• 治療的ペプチドデータが限られていることによる性能低下を軽減するため、豊富な非治療的ペプチドをデータ拡張に活用すること。
• 各拡散タイムステップにおける対照学習戦略を通じて、モダリティ間の一般化と整合性を向上させること。

提案手法

• MMCDは、配列と構造モダリティそれぞれに別々の拡散モデルを採用し、アミノ酸配列と骨格原子座標を同時に生成可能にする。
• 各ペプチドの各拡散ステップにおいて、配列モダリティと構造モダリティの埋め込み同士の一致を最大化するため、モダリティ間対照学習（Inter-CL）を導入する。
• 治療的ペプチドと非治療的ペプチドの埋め込み同士の不一致を最大化することで、識別性と一般化性能を向上させるため、モダリティ内対照学習（Intra-CL）を組み込む。
• 各拡散タイムステップで対照学習を適用し、マルチモーダル表現を整列させるとともに、治療的と非治療的ペプチド分布を区別する。
• 低データ環境における一般化を向上させるために、既知の非治療的ペプチドをデータ拡張として活用する。
• 対照的目的関数を拡散プロセスに統合したエンドツーエンドの訓練フレームワークを採用し、一貫性があり高精度な共同生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 ペプチド配列と3次元構造を同時に生成するマルチモーダル拡散モデルは、単一モーダル生成モデルを上回る性能を示せるか？
• RQ2 拡散プロセス中、モダリティ間対照学習は、配列と構造の埋め込みをどの程度効果的に整列させられるか？
• RQ3 治療的ペプチドデータが限られている状況下で、モダリティ内対照学習はモデルの一般化性能をどの程度向上させるか？
• RQ4 各拡散ステップでの対照学習統合は、生成ペプチドの多様性と生物学的妥当性を向上させるか？
• RQ5 最先端手法と比較して、モデルはダウンストリームの分子ドッキングタスクでどの程度の性能を示すか？

主な発見

• MMCDは、特に抗菌・抗がん活性スコアにおいて、最先端のベースラインを顕著に上回る性能を示した。
• t-SNE可視化と多様性指標の両面から、特に短いペプチドにおいてより多様なペプチドを生成した。
• アブレーションスタディの結果、Inter-CLまたはIntra-CLのいずれかを除去すると性能が低下し、両方の対照的コンponentの必要性が裏付けられた。
• t-SNE可視化から、Inter-CLが効果的に配列と構造の埋め込みを整列させ、モダリティ間の共有特徴を捉えていることが示された。
• Intra-CLは治療的と非治療的ペプチドの埋め込みを効果的に分離し、分布バイアスを低減させ、新規ペプチドの探索空間を拡大した。
• 分子ドッキングの結果、MMCDが生成した構造は最高のドッキングスコアを達成し、基準ペプチドと最も類似した結合相互作用を示した。