[논문 리뷰] A Multi-Modal Contrastive Diffusion Model for Therapeutic Peptide Generation

Yongkang Wang, Xuan Liu외 3명|arXiv (Cornell University)|2023. 12. 25.

vaccines and immunoinformatics approaches인용 수 5

한 줄 요약

이 논문은 각 확산 단계에서 상호 및 내부 대비 학습을 통해 서열과 구조 정보를 통합함으로써 치료용 펩타이드 서열과 3D 구조를 동시에 생성하는 다중 모odal 대비 확산 모델인 MMCD를 제안한다. 이 방법은 높은 품질과 다양성을 갖춘 치료용 펩타이드를 생성함으로써 최신 기술보다 뛰어난 성능을 보이며, 항미생물/항암 점수 향상과 함께 펩타이드 도킹 친화도가 향상된다.

ABSTRACT

Therapeutic peptides represent a unique class of pharmaceutical agents crucial for the treatment of human diseases. Recently, deep generative models have exhibited remarkable potential for generating therapeutic peptides, but they only utilize sequence or structure information alone, which hinders the performance in generation. In this study, we propose a Multi-Modal Contrastive Diffusion model (MMCD), fusing both sequence and structure modalities in a diffusion framework to co-generate novel peptide sequences and structures. Specifically, MMCD constructs the sequence-modal and structure-modal diffusion models, respectively, and devises a multi-modal contrastive learning strategy with intercontrastive and intra-contrastive in each diffusion timestep, aiming to capture the consistency between two modalities and boost model performance. The inter-contrastive aligns sequences and structures of peptides by maximizing the agreement of their embeddings, while the intra-contrastive differentiates therapeutic and non-therapeutic peptides by maximizing the disagreement of their sequence/structure embeddings simultaneously. The extensive experiments demonstrate that MMCD performs better than other state-of-theart deep generative methods in generating therapeutic peptides across various metrics, including antimicrobial/anticancer score, diversity, and peptide-docking.

연구 동기 및 목표

• 기존의 딥 생성 모델이 펩타이드 서열 또는 구조 중 하나에만 집중함으로써 최적의 치료용 펩타이드 생성이 어려운 점을 해결하기 위해.
• 확산 프레임워크 내에서 서열과 구조의 다중 모달 정보를 효과적으로 통합하여 생성 품질과 다양성을 향상시키기 위해.
• 치료용 펩타이드 데이터가 제한되어 있을 경우 성능 저하를 방지하기 위해 풍부한 비치료용 펩타이드를 데이터 증강으로 활용하기 위해.
• 각 확산 타임스텝에서 대비 학습 전략을 통해 모달 간의 일반화 능력 향상과 정렬을 향상시키기 위해.

제안 방법

• MMCD는 서열 및 구조 모달에 대해 별도의 확산 모델을 사용하여 잔류 아미노산 서열과 프로테인 뼈대 원자 좌표를 동시에 생성한다.
• 각 확산 단계에서 각 펩타이드에 대해 서열 모달과 구조 모달 간의 임베딩 일치도를 극대화하기 위해 상호 대비 학습(Inter-CL)을 도입한다.
• 치료용과 비치료용 펩타이드 간의 임베딩 불일치도를 극대화함으로써 분류 능력과 일반화 능력을 향상시키기 위해 내부 대비 학습(Intra-CL)을 통합한다.
• 각 확산 타임스텝에서 대비 학습을 적용하여 다중 모달 표현을 정렬하고 치료용과 비치료용 펩타이드 분포를 구분한다.
• 저데이터 환경에서 일반화 능력을 향상시키기 위해 알려진 비치료용 펩타이드를 데이터 증강으로 활용한다.
• 모델은 확산 과정에 대비 목적함수를 통합하여 엔드 투 엔드로 훈련되며, 일관되고 고해상도의 동시 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 서열과 3D 구조를 동시에 생성하는 다중 모달 확산 모델이 치료용 펩타이드 생성에서 단일 모달 생성 모델보다 우수한 성능을 낼 수 있는가?
• RQ2 확산 과정 중에 상호 대비 학습이 서열과 구조 임베딩을 얼마나 효과적으로 정렬하는가?
• RQ3 치료용 펩타이드 데이터가 제한되었을 때 내부 대비 학습이 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 각 확산 타임스텝에서 대비 학습을 통합함으로써 생성된 펩타이드의 다양성과 생물학적 관련성이 향상되는가?
• RQ5 최신 기술 대비 모델의 분자 도킹 임무 성능은 어떠한가?

주요 결과

• MMCD는 항균 및 항암 활성 점수 측면에서 최신 기술 기반 모델들을 크게 능가하며 치료용 펩타이드 생성에서 뛰어난 성능을 보였다.
• t-SNE 시각화 및 다양성 지표에 따르면, 특히 짧은 펩타이드의 경우 더 높은 다양성을 생성하였다.
• 절단 실험 결과, Inter-CL 또는 Intra-CL를 제거할 경우 성능 저하가 발생하여, 두 대비 구성 요소가 모두 필수적임을 입증하였다.
• t-SNE 시각화 결과, Inter-CL가 서열과 구조 임베딩을 성공적으로 정렬하여 모달 간의 공통된 특징을 포착함을 확인하였다.
• Intra-CL는 치료용과 비치료용 펩타이드 임베딩을 효과적으로 분리하여 분포 편향을 감소시키고 새로운 펩타이드 탐색 공간을 넓혔다.
• 분자 도킹 결과, MMCD가 생성한 구조는 가장 높은 도킹 점수를 기록했으며, 기준 펩타이드와 가장 유사한 결합 상호작용를 보였다.