[論文レビュー] Score-based Continuous-time Discrete Diffusion Models

Haoran Sun, Lijun Yu+3 more|arXiv (Cornell University)|Nov 30, 2022

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、連続時間のマーカフジャンプ過程を介してカテゴリカルな離散データへスコアベースの生成モデリングを拡張する、スコアベース連続時刻離散拡散モデル（SDDM）を提案する。不偏なスコア推定のためのカテゴリカル比マッチングと、解析的逆サンプリングを提案し、少ないサンプリングステップで画像および音楽生成ベンチマークにおいて最先端の性能を達成した。

ABSTRACT

Score-based modeling through stochastic differential equations (SDEs) has provided a new perspective on diffusion models, and demonstrated superior performance on continuous data. However, the gradient of the log-likelihood function, i.e., the score function, is not properly defined for discrete spaces. This makes it non-trivial to adapt extcolor{\cdiff}{the score-based modeling} to categorical data. In this paper, we extend diffusion models to discrete variables by introducing a stochastic jump process where the reverse process denoises via a continuous-time Markov chain. This formulation admits an analytical simulation during backward sampling. To learn the reverse process, we extend score matching to general categorical data and show that an unbiased estimator can be obtained via simple matching of the conditional marginal distributions. We demonstrate the effectiveness of the proposed method on a set of synthetic and real-world music and image benchmarks.

研究の動機と目的

• 従来のスコア関数が微分不能であるため定義されないカテゴリカルな離散変数へのスコアベース生成モデリングの拡張。
• 確率的ジャンプ過程と連続時刻マルコフ連鎖を用いて、離散データのための連続時刻拡散過程の定式化。
• 離散空間における逆過程の推定に適した、取り扱いやすく不偏な学習目的であるカテゴリカル比マッチングの開発。
• 条件付き周辺分布に基づく暗黙的モデリングを用いた解析的シミュレーションによる、効率的かつ正確な逆サンプリングの実現。
• 合成データおよび画像・音楽生成タスクにおける本手法の有効性の実証、特にサンプリングステップ数を減らしても高いサンプル品質と効率性を達成。

提案手法

• 離散空間における逆ノイズ除去プロセスを記述する連続時刻マルコフジャンプ過程を提案し、一貫性のあるSDE定式化を可能にした。
• ハイヴァリネンの比マッチングをカテゴリカルデータに一般化した、スコアベース学習目的としてのカテゴリカル比マッチングを導入した。
• 条件付き周辺分布のマッチングにより、ELBO近似を避ける不偏なスコア関数推定器を導出した。
• 条件付き周辺分布の暗黙的モデリングに基づく解析的逆サンプリング手法を開発し、数値積分を用いずに正確なシミュレーションを可能にした。
• 高次元離散データ向けに効率性とモデリング能力を向上させる、新規な「ハロー型」ニューラルアーキテクチャを提案した。
• 解析的サンプリングが不可能な場合の数値的サンプリングのための予測子補正スキームを採用し、ロバスト性を確保した。

実験結果

リサーチクエスチョン

• RQ1 微分不能なためスコア関数が定義されないカテゴリカルな離散データに対し、スコアベースモデリングを意味的に拡張できるか？
• RQ2 確率的ジャンプ過程を用いて、離散変数のための連続時刻拡散過程をどのように定式化できるか？
• RQ3 離散空間における逆過程の推定に適した、不偏的かつ取り扱いやすい学習目的は何か？
• RQ4 離散的連続時刻拡散モデルに対して、解析的逆サンプリングを導出できるか？また、数値的手法と比較してどのように異なるか？
• RQ5 本手法は、画像や音楽などの実世界の離散データベンチマークにおいて、特にサンプリングステップ数を減らしても効果的か？

主な発見

• CIFAR-10では、100ステップのサンプリングでFIDが13.29に達し、同じ条件下でD3PM（FID: 62.15）を上回った。
• 250ステップのサンプリングでは、FIDが12.50、インセプションスコア（IS）が8.80に達し、D3PM（FID: 32.61、IS: 7.71）を著しく上回った。
• モノフォニック音楽生成タスクでは、ハリントン距離が0.3736 ± 0.0024、外れ値の割合が0.1093 ± 0.0016を記録し、先行手法を上回った。
• SDDMの解析的サンプラーは、わずか20ステップでもFIDが21.06に保たれ、D3PMに比べて優れたロバスト性を示した。
• 提案された「ハロー型」Transformerアーキテクチャは、129トークンの高次元離散データ（音楽シーケンス）の効果的なモデリングを可能にした。
• カテゴリカル比マッチングにより、ELBO近似に依存せず不偏な学習が可能となり、従来の離散拡散手法に比べて推定品質が向上した。