[論文レビュー] A Continuous Time Framework for Discrete Denoising Models

Andrew T. Campbell, Joe Benton+4 more|arXiv (Cornell University)|May 30, 2022

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本論文は、前向きのノイズ付与プロセスと逆向きの生成プロセスを連続時間マコフ連鎖（CTMC）としてモデル化することで、離散的ノイズ除去拡散モデルのための連続時間枠組みを導入し、tau-leapingおよび予測子補正スキームを用いて柔軟で高精度なサンプリングを可能にした。CIFAR-10およびモノフォニック音楽生成において、従来の離散時間手法を上回る最先端のサンプル品質を達成した。

ABSTRACT

We provide the first complete continuous time framework for denoising diffusion models of discrete data. This is achieved by formulating the forward noising process and corresponding reverse time generative process as Continuous Time Markov Chains (CTMCs). The model can be efficiently trained using a continuous time version of the ELBO. We simulate the high dimensional CTMC using techniques developed in chemical physics and exploit our continuous time framework to derive high performance samplers that we show can outperform discrete time methods for discrete data. The continuous time treatment also enables us to derive a novel theoretical result bounding the error between the generated sample distribution and the true data distribution.

研究の動機と目的

• 離散データにおける離散時間ノイズ除去モデルの制限を克服し、連続時間モデリングを可能にする。
• 前向きのノイズ付与プロセスと逆向きの生成プロセスを、より柔軟性をもたせるために連続時間マコフ連鎖（CTMC）として定式化する。
• パrametricな逆向きプロセスの効率的な学習のための連続時間ELBOを導出する。
• 高精度なサンプラーを、tau-leapingおよび予測子補正スキームを用いて開発し、サンプル品質を向上させる。
• 生成された分布と真のデータ分布の間の理論的誤差バウンドを確立する。

提案手法

• 状態依存の遷移レート R_t を用いて、前向きのノイズ付与プロセスをCTMCとしてモデル化する。
• 逆向きの生成プロセスを、前向きCTMCの時間反転として定義し、ノイズ除去ネットワーク p_0|t^θ(x_0|x_t) でパrameter化する。
• パrametricな逆向きプロセスの学習のための連続時間ELBO目的関数を導出する。
• tau-leapingを用いて逆向きプロセスを効率的にシミュレートし、精度を向上させるために新規の予測子補正スキームを採用する。
• 逆向きサンプリング中に有効なカテゴリカルな遷移を保証するために、棄却サンプリングを適用する。
• tau-leapingにおける誤差の理論的バウンドを、真のデータ分布と生成された分布の間で導出する。

実験結果

リサーチクエスチョン

• RQ1 CTMCを用いた連続時間枠組みは、離散的ノイズ除去モデルに対して効果的に構築可能か？
• RQ2 tau-leapingおよび予測子補正スキームを用いた連続時間サンプリングは、離散時間手法と比較してサンプル品質をどのように向上させるか？
• RQ3 この連続時間設定において、真のデータ分布と生成された分布の間の理論的誤差バウンドは何か？
• RQ4 レート行列の選択（例：均一 vs. 誕生/死滅）は、サンプリングダイナミクスとパフォーマンスにどのように影響するか？
• RQ5 この枠組みは、CIFAR-10や音楽シーケンスのような離散データにおいて、競争力のあるサンプル品質を達成できるか？

主な発見

• tau-leapingおよび予測子補正サンプリングを用いた提案された連続時間枠組みは、従来の離散時間・離散状態手法よりも優れたCIFAR-10サンプル品質を実現した。
• 逆向きサンプリング中の棄却率は低く（主にゼロ）、再試行が最小限に抑えられ、効率的で安定したサンプリングが実現した。
• 最初の2小節を条件として与えることで、多様でスタイルが一貫した音楽の完成形を生成し、順序構造の強力なモデリングを示した。
• 理論的解析により、真のデータ分布と生成された分布の間の誤差に厳密なバウンドを提供した。
• 画像生成における離散データと連続データモデリングのパフォーマンスギャップを埋め、CIFAR-10で最先端の結果を達成した。