[論文レビュー] DiscDiff: Latent Diffusion Model for DNA Sequence Generation

Zehui Li, Yuhao Ni+5 more|arXiv (Cornell University)|Feb 8, 2024

Algorithms and Data Compression被引用数 5

ひとこと要約

DiscDiffは、離散DNA配列を生成する潜在拡散フレームワークを導入し、潜在と入力の丸め誤差を修正する Absorb-Escape によって補強し、新しい多種間DNAデータセット（EPD-GenDNA）で評価する。

ABSTRACT

This paper introduces a novel framework for DNA sequence generation, comprising two key components: DiscDiff, a Latent Diffusion Model (LDM) tailored for generating discrete DNA sequences, and Absorb-Escape, a post-training algorithm designed to refine these sequences. Absorb-Escape enhances the realism of the generated sequences by correcting `round errors' inherent in the conversion process between latent and input spaces. Our approach not only sets new standards in DNA sequence generation but also demonstrates superior performance over existing diffusion models, in generating both short and long DNA sequences. Additionally, we introduce EPD-GenDNA, the first comprehensive, multi-species dataset for DNA generation, encompassing 160,000 unique sequences from 15 species. We hope this study will advance the generative modelling of DNA, with potential implications for gene therapy and protein production.

研究の動機と目的

• データ不足と評価課題を背景に、DNA配列の生成モデリングを動機づける。
• 離散DNAデータに適したLDMであるDiscDiffと、潜在と入力の丸め誤差を修正するためのAbsorb-Escapeを提案する。
• 複数種評価のための大規模な跨種DNA生成データセット（EPD-GenDNA）を作成・ベンチマークする。

提案手法

• DiscDiffはDNA配列を連続潜在空間に写像するために2段階VAEを用いる。
• 潜在空間のノイズを予測する潜在拡散ノイズ除去モデルと、固定デコーダが配列を再構成する。
• Absorb-Escapeの事後学習微調整は、事前学習済みの自己回帰モデルを用いて低確率領域を補正する。
• 本フレームワークは無条件生成と条件付き生成の設定を含み（種による条件付け）。
• 評価はモチーフ分布の相関、多様性指標、潜在空間でのS-FIDを用いる。
• VAEアーキテクチャと拡散成分を比較するアブレーション研究を行う。

Figure 1: A comparison of Motif frequency distributions. The graphs contrast the occurrences of TATA-Box and Initiator motifs at each position in a set of samples from natural DNA against those generated by various models. A close match in frequency distributions suggests a higher realism and better

実験結果

リサーチクエスチョン

• RQ1 潜在拡散モデルは、短いシーケンス領域と長いシーケンス領域の両方で、既存の拡散ベースより現実的なDNA配列を生成できるか。
• RQ2 Absorb-Escapeの後処理は局所的なヌクレオチド精度とモチーフ分布の現実性を改善するか。
• RQ3 複数種にまたがる条件付き生成におけるDiscDiffの性能は、自己回帰ベースラインと比較してどうか。
• RQ4 種を跨ぐ生成DNA配列の品質と多様性を最もよく捉えるデータセットと指標は何か。

主な発見

モデル	S-FID（小）	Cor_TATA（小）	Delta_Div（小）	S-FID（大）	Cor_TATA（大）	Delta_Div（大）
ランダム	119.0	-0.241	29.3%	106.0	0.030	13.0%
トレーニングセットからサンプル	0.509	1.0	0%	0.100	0.999	0%
VAE	295.0	-0.167	0.40%	250.0	0.007	10.6%
BitDiffusion	405	0.058	44.9%	100.0	0.066	2.00%
D3PM (small)	97.4	0.0964	28.0%	94.5	0.307	0.10%
DDSM (Time Dilation)	504.0	0.897	40.6%	1113.0	0.839	13.0%
DiscDiff (Ours)	57.4	0.973	4.40%	45.2	0.858	4.20%
Absorb-Escape (Ours)	3.21	0.975	5.70%	4.38	0.892	1.90%

• DiscDiffは、短いDNA生成と長いDNA生成の両方で拡散モデルの中で最先端の結果を達成（S-FIDとモチーフ相関が改善）。
• Absorb-Escapeは、低確率領域を自己回帰補正で refined することにより、特に長い系列で生成品質をさらに向上させる。
• DiscDiffは、無条件生成においてD3PM、BitDiffusion、DDSMなどのいくつかのベースラインを上回る。
• 条件付き生成では、Absorb-Escapeがモチーフ傾向の再現性を高め、モチーフ分布のバランス（TATAボックスとイニシエータ）を可能にする。
• EPD-GenDNAは、ベンチマーキング用の大規模な跨種DNA生成デatasetとして導入（160k配列、15種）。

Figure 2: Generation Task with EPD-GenDNA. (a) Dataset: The EPD-GenDNA dataset includes 160K unique sequences from 15 species and 30 million samples with associated metadata. (b) Generative Modelling: A probabilistic model $p_{\theta}(s)$ is trained to generate new DNA sequences. (c) Model Evaluatio