[논문 리뷰] Latent Diffusion Model for DNA Sequence Generation

Zehui Li, Yuhao Ni외 5명|arXiv (Cornell University)|2023. 10. 09.

Genomics and Phylogenetic Studies인용 수 5

한 줄 요약

이 논문은 변분 오토인코더를 사용해 이산적인 DNA 서열을 연속 잠재 공간으로 매핑함으로써 고품질의 합성 DNA 서열을 생성하는 잠재 확산 모델인 DiscDiff를 제안한다. 이는 강력한 연속 확산 모델의 사용을 가능하게 한다. 이 방법은 모티프 분포, 잠재 임bedding 유사도, 히스톤 크로마틴 프로파일 일치도에서 최신 기술 수준의 성능을 달성하였으며, 새로운 평가 지표인 프레셰 복원 거리(Fréchet Reconstruction Distance, FReD)와 15개 종에 걸쳐 15만 개의 프로모터-유전자 서열로 구성된 새로운 이종 간 데이터셋을 통해 검증되었다.

ABSTRACT

The harnessing of machine learning, especially deep generative models, has opened up promising avenues in the field of synthetic DNA sequence generation. Whilst Generative Adversarial Networks (GANs) have gained traction for this application, they often face issues such as limited sample diversity and mode collapse. On the other hand, Diffusion Models are a promising new class of generative models that are not burdened with these problems, enabling them to reach the state-of-the-art in domains such as image generation. In light of this, we propose a novel latent diffusion model, DiscDiff, tailored for discrete DNA sequence generation. By simply embedding discrete DNA sequences into a continuous latent space using an autoencoder, we are able to leverage the powerful generative abilities of continuous diffusion models for the generation of discrete data. Additionally, we introduce Fréchet Reconstruction Distance (FReD) as a new metric to measure the sample quality of DNA sequence generations. Our DiscDiff model demonstrates an ability to generate synthetic DNA sequences that align closely with real DNA in terms of Motif Distribution, Latent Embedding Distribution (FReD), and Chromatin Profiles. Additionally, we contribute a comprehensive cross-species dataset of 150K unique promoter-gene sequences from 15 species, enriching resources for future generative modelling in genomics. We will make our code public upon publication.

연구 동기 및 목표

• 확산 모델을 활용해 GAN의 한계(모드 붕괴, 낮은 다양성 등)를 해결하고자 한다.
• 유전체학을 넘어선 이산 데이터 생성에 적용 가능한 일반화 가능한 프레임워크를 개발하고자 한다.
• 합성 DNA 서열의 품질을 정량적으로 평가하기 위해 새로운 평가 지표인 프레셰 복원 거리(Fréchet Reconstruction Distance, FReD)를 도입하고자 한다.
• 미래 연구를 위해 보다 포괄적인 150만 개의 고유한 프로모터-유전자 서열로 구성된 이종 간 데이터셋을 구축하고 공개하고자 한다.
• 잠재 확산 모델이 생물학적으로 현실적인 DNA 서열을 정확한 크로마틴 프로파일과 모티프 분포를 유지하면서 효과적으로 생성할 수 있음을 입증하고자 한다.

제안 방법

• 이 방법은 이산 DNA 서열을 연속 잠재 공간으로 매핑하기 위해 변분 오토인코더(Variational Autoencoder, VAE)를 사용한다. 이를 통해 연속 확산 모델의 사용이 가능해진다.
• 잠재 공간에서 노이즈 제거를 위한 U-Net 아키텍처를 학습시켜, 점진적으로 노이즈를 첨가하는 전방 확산 과정을 역행한다.
• 역행 과정은 확률적 미분 방정식(Stochastic Differential Equation, SDE) 수식을 사용하여 현실적인 잠재 서열을 생성하고, 이를 다시 DNA 서열로 디코딩한다.
• 모델은 각 시간 단계에서 예측된 잠재 상태와 진짜 잠재 상태 간의 차이를 최소화하는 노이즈 제거 목적 함수를 사용해 학습된다.
• 잠재 분포 학습과 노이즈 제거 모델 학습을 분리함으로써 모듈러한 학습과 더 나은 일반화 성능을 달성한다.
• 실제 서열과 생성된 서열 간의 잠재 임베딩 분포를 비교하기 위해 새로운 평가 지표인 프레셰 복원 거리(Fréchet Reconstruction Distance, FReD)를 도입한다.

(a) Inference

실험 결과

연구 질문

• RQ1 잠재 확산 모델이 높은 다양성과 정확한 모티프 분포를 갖는 생물학적으로 현실적인 DNA 서열을 효과적으로 생성할 수 있는가?
• RQ2 제안된 프레셰 복원 거리(Fréchet Reconstruction Distance, FReD) 지표는 DNA 서열 생성 품질 평가에서 정성적 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ3 잠재 확산 프레임워크는 실제 프로모터-유전자 서열의 크로마틴 프로파일 분포를 어느 정도 유지할 수 있는가?
• RQ4 잠재 분포 및 모티프 분포 유사도 측면에서, 다양한 학습 기간과 하이퍼파라미터 설정에서 모델의 성능은 어떻게 변하는가?
• RQ5 제안된 프레임워크는 종 간에 일반화될 수 있으며, 프로모터를 초과한 다른 이산 유전체 서열에도 적용 가능한가?

주요 결과

• DiscDiff는 200 에포크에서 프레셰 복원 거리(Fréchet Reconstruction Distance, FReD) 22.10을 기록하여, VAE 기준선(48.66)보다 유의미하게 뛰어난 잠재 분포 일치도를 보였다.
• 모델은 실제 DNA 서열의 모티프 분포와 크로마틴 프로파일에서 강한 유사성을 보였으며, H3K4me3, H3K27me3, H3K9me3 등의 상위 프로파일이 생성된 서열에서도 잘 유지되었다.
• 잠재 분포 거리(FReD 및 Sei 임베딩 거리)는 에포크 0에서 200까지 급격히 감소한 후 점차 증가하는 경향을 보였으며, 장기 학습에서 전반적인 표현력과 모티프 정확성 간의 상충 관계를 시사했다.
• 모델이 생성한 서열은 실제 서열의 크로마틴 프로파일 분포와 유사했으며, 생성된 데이터의 상위 10개 프로파일이 실제 데이터와 밀접하게 일치했다.
• 학습 과정을 통해 TSS 피크 모델링은 장기 학습에 따라 향상되었지만, 모티프 분포의 분산이 발생함을 확인하여, 전반적 표현력과 국소적 시퀀스 정확성 간의 균형을 맞추는 도전 과제를 드러냈다.
• 저자들은 15개 종에서 유래한 15만 개의 고유한 프로모터-유전자 서열로 구성된 새로운 이종 간 데이터셋을 공개하여, 향후 유전체 모델링 연구 자원을 풍부하게 하였다.

(b) Training