[論文レビュー] Dirichlet Diffusion Score Model for Biological Sequence Generation

Pavel Avdeyev, Chenlai Shi+3 more|PubMed|May 18, 2023

Genetic and phenotypic traits in livestock参考文献 11被引用数 8

ひとこと要約

Dirichlet diffusion score model (DDSM) は、Dirichlet 定常分布を持つ確率単純形上の拡散を通じて確率データにスコアベース拡散を拡張し、Sudoku パズルやヒトプロモーター DNA 配列など制約付き系列設計を可能にする。

ABSTRACT

Designing biological sequences is an important challenge that requires satisfying complex constraints and thus is a natural problem to address with deep generative modeling. Diffusion generative models have achieved considerable success in many applications. Score-based generative stochastic differential equations (SDE) model is a continuous-time diffusion model framework that enjoys many benefits, but the originally proposed SDEs are not naturally designed for modeling discrete data. To develop generative SDE models for discrete data such as biological sequences, here we introduce a diffusion process defined in the probability simplex space with stationary distribution being the Dirichlet distribution. This makes diffusion in continuous space natural for modeling discrete data. We refer to this approach as Dirchlet diffusion score model. We demonstrate that this technique can generate samples that satisfy hard constraints using a Sudoku generation task. This generative model can also solve Sudoku, including hard puzzles, without additional training. Finally, we applied this approach to develop the first human promoter DNA sequence design model and showed that designed sequences share similar properties with natural promoter sequences.

研究の動機と目的

• 離散的な生物学的配列設計において硬い制約を満たす生成モデルの必要性を動機づける。
• Dirichlet 定常分布を持つ確率単純形上の連続時間拡散過程を導入する。
• Stick-breaking と Jacobi 拡散を用いて k-カテゴリ離散データのスコアベース拡散フレームワークを開発する。
• 制約データ課題（Sudoku）と実世界の生物学的応用（ヒトプロモーター設計）でモデルを実証する。
• Dirichlet 拡散の離散空間に対するトレーニング、サンプリング、尤度推定ツールを提供する。

提案手法

• Stick-breaking による前方拡散を、Dirichlet(…) 定常分布へ収束する多変量 Jacobi 拡散を用いて確率単純形上に構築する。
• 学習済みスコア関数を用いてサンプルを得るための反転時間 SDE と確率流れ ODE を定義する。
• Jacobi 拡散に適合させた一般化スコアーマッチング損失を用いて訓練を行い、尤度に触発された重み付けと変数変換の考慮事項を含める。
• 二点初期条件（0/1）と事前計算された密度を活用した効率的サンプリングを可能にし、サンプル品質向上のための時間伸長をオプションで利用できる。
• 離散データの尤度のための確率流れ ODE を介した尤度フレームワークと ELBO ベースの下界を提供する。
• 転写開始シグナルプロファイルを条件付けとして設計プロモータ設計のための条件付き生成設定を適用する。

実験結果

リサーチクエスチョン

• RQ1 確率単純形上の連続時間拡散（Dirichlet 定常分布）を用いて生物配列のような離散データを効果的にモデル化できるか。
• RQ2 Stick-breaking と Jacobi 拡散過程を用いてスコアベース拡散を多クラス離散データへ適用するにはどうすればよいか。
• RQ3 DDSM はどの程度まで高度に制約された離散データ（例：Sudoku パズル）や実世界の生物配列（プロモータ DNA）を生成でき、目的特性を維持できるか。
• RQ4 離散空間における Dirichlet 拡散の実践的なトレーニング、サンプリング、尤度推定戦略は何か。

主な発見

• DDSM は二値化 MNIST に対して複数のベースラインと比較してネガティブ対数尤度が競争力を持つ。
• モデルは Sudoku パズルの生成と解決が可能で、時間伸長と条件付け技術を用いると生成精度が最大100%に達する。
• ヒトプロモーター DNA 配列設計の初の手法を実証し、生成されたプロモータは自然のプロモータと性質を共有し、競合的なプロモータ活性予測を達成。
• 時間伸長とサンプリング戦略はサンプル品質とパズル解決の成功率を向上させ、制約付き生成タスクでいくつかの拡散ベースラインを上回る。
• 条件付きプロモータ設計設定により転写開始プロファイルを条件付けた制御生成が可能となり、基準プロモータと同程度の活性を持つ配列を得られる。