[論文レビュー] The Diffusion Duality, Chapter II: $Ψ$-Samplers and Efficient Curriculum

Justin Deschenaux, Caglar Gulcehre+1 more|arXiv (Cornell University)|Feb 24, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

Ψ-ポスタリオと Predictor-Corrector サンプリングを離散拡散の任意事前分布に対して導入し、サンプリング品質を向上させ、ガウシアン緩和トレーニング中のメモリ効率の高いカリキュラムを可能にする。

ABSTRACT

Uniform-state discrete diffusion models excel at few-step generation and guidance due to their ability to self-correct, making them preferred over autoregressive or Masked diffusion models in these settings. However, their sampling quality plateaus with ancestral samplers as the number of steps increases. We introduce a family of Predictor-Corrector (PC) samplers for discrete diffusion that generalize prior methods and apply to arbitrary noise processes. When paired with uniform-state diffusion, our samplers outperform ancestral sampling on both language and image modeling, achieving lower generative perplexity at matched unigram entropy on OpenWebText and better FID/IS scores on CIFAR10. Crucially, unlike conventional samplers, our PC methods continue to improve with more sampling steps. Taken together, these findings call into question the assumption that Masked diffusion is the inevitable future of diffusion-based language modeling. Beyond sampling, we develop a memory-efficient curriculum for the Gaussian relaxation training phase, reducing training time by 25% and memory by 33% compared to Duo while maintaining comparable perplexity on OpenWebText and LM1B and strong downstream performance. We release code, checkpoints, and a video-tutorial on: https://s-sahoo.com/duo-ch2

研究の動機と目的

• 離散拡散のサンプリング手法を改善する動機づけを行い、特に均一状態拡散モデル（USDMs）に対して。
• forward拡散と同じ限界分布を共有しつつリマスキングと補正を可能にする非マルコフ的ポスタリオ Ψ-ポスタリオの族を定義する。
• サンプリングステップが増えるにつれてサンプル品質を改善する Ψ-サンプラーを提案する。
• perplexity や下流性能を損なうことなくトレーニング時間を短縮するメモリ効率の高いガウス緩和トレーニングのカリキュラムを開発する。

提案手法

• Ψ-ポスタリオを前方過程と逆向きポスタリオの線形結合として定義し、非マルコフだが限界整合なサンプラーを得る。
• Predictor-Corrector (PC) サンプリングを任意の事前分布（MDM および USDM）に一般化し、既存の PC 手法を拡張する方法を示す。
• Ψ-ポスタリオの NELBO を定式化し、拡散変換演算子を介してガウス潜在変数と結びつける。
• トレーニング時間とピークメモリを低減しつつ perplexity と下流精度を保持するメモリ効率カリキュラムを導入する。
• 離散データ向けの分類器ベースおよび分類器なしのガイダンス適用を含む拡散ガイダンスの概念を説明する。

実験結果

リサーチクエスチョン

• RQ1 Ψ-サンプラーは従来の祖先サンプリングとリマスキングサンプリングと比較して離散拡散の生成品質を改善するか。
• RQ2 非マルコフ Ψ-ポスタリオは forward 拡散と同じ限界分布を保持しつつリマスキングと推論の改善を可能にするか。
• RQ3 提案されたメモリ効率カリキュラムは perplexity や下流性能を損なうことなくガウス緩和トレーニングを加速するか。
• RQ4 Ψ-サンプラーは既存手法と比較して言語モデリングと画像モデリングのベンチマークでどのような性能を示すか。

主な発見

• Ψ-サンプラーは任意のノイズ分布に対して従来手法を一般化し、サンプリングステップ数が増えるほど生成品質が向上する。
• Ψ-ポスタリオは誤差を補正しつつ前方限界の整合性を維持する predictor-corrector 手順を可能にする。
• USDM では Ψ-サンプラーは言語・画像タスクで祖先サンプリングを上回り、高 NFE 帯域でマスク拡散モデルとのギャップを縮める。
• メモリ効率カリキュラムは perplexity と下流性能を維持しつつトレーニング時間とピークメモリを大幅に削減する。
• ガイダンス機構（CFG）を Ψ-サンプラーの枠組みに適用して離散拡散下の生成を誘導できる。