[論文レビュー] Continuous-Time Functional Diffusion Processes

Giulio Franzese, Corallo, Giulio+4 more|arXiv (Cornell University)|Mar 1, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、高度な確率的積分計算を用いて、関数空間へのスコアベースの拡散モデルを無限次元に一般化する連続時間枠組みである機能的拡散過程（fDPs）を提案する。ギルサノフの定理と標本化定理をヒルベルト空間へ拡張することで、単純なMLPやTransformerを用いて高精度な画像・音声・その他の連続データの生成が可能となり、従来の拡散モデルと比較してパラメータ数が桁違いに少ない状態で最先端の性能を達成する。

ABSTRACT

We introduce Functional Diffusion Processes (FDPs), which generalize score-based diffusion models to infinite-dimensional function spaces. FDPs require a new mathematical framework to describe the forward and backward dynamics, and several extensions to derive practical training objectives. These include infinite-dimensional versions of Girsanov theorem, in order to be able to compute an ELBO, and of the sampling theorem, in order to guarantee that functional evaluations in a countable set of points are equivalent to infinite-dimensional functions. We use FDPs to build a new breed of generative models in function spaces, which do not require specialized network architectures, and that can work with any kind of continuous data. Our results on real data show that FDPs achieve high-quality image generation, using a simple MLP architecture with orders of magnitude fewer parameters than existing diffusion models.

研究の動機と目的

• 離散化の歪みを回避するため、連続関数上で直接作用する理論的根拠に基づいた拡散モデルの枠組みを構築すること。
• 変分推論の厳密性を保つために、ギルサノフの定理や標本化定理を無限次元ヒルベルト空間へ拡張すること。
• 画像・音声・動画など多様な連続データモダリティのエンドツーエンド生成的モデリングを、特化したアーキテクチャを用いずに可能にすること。
• MLP やTransformerといった単純なモデルが、連続空間における関数的スコアを学習することで、高品質な生成を達成できることを示すこと。
• 任意の解像度をサポートし、解像度に依存しない生成を可能にする統一的かつスケーラブルな生成的モデリングのアプローチを提供すること。

提案手法

• ヒルベルト空間における連続時間確率過程として、関数空間に一般化された機能的拡散過程（fDPs）を提案する。これは、有限次元の拡散モデルを関数空間へ拡張するものである。
• ギルサノフの定理の無限次元への拡張を用いて、関数スコアの変分学習を可能にする、下界の期待値（ELBO）を導出する。
• 無限次元の標本化定理を導入し、関数の完全な再構成が、可算個の点における関数評価値のみで十分であることを証明する。
• インパルシットニューラル表現（INRs）とTransformerを用いて、関数値とスコアを効率的なパラメータ化で同時にモデリングする。
• fDPsのストキャスティック微分方程式（SDEs）に適応した予測子・補正子数値スキームを採用し、サンプリングと学習に用いる。
• 中間の離散化を経由せずに、生の連続データを入力として用いて、画像および音声生成に本フレームワークを適用する。

Figure 1 : Qualitative results with MLP.

実験結果

リサーチクエスチョン

• RQ1 スコアベースの拡散モデルは、連続時間確率過程を用いて、無限次元関数空間へ厳密に拡張可能か？
• RQ2 無限次元ヒルベルト空間において、関数的スコアの変分学習を可能にするために、下界の期待値（ELBO）をどのように導出できるか？
• RQ3 関数的拡散の文脈において、可算個の点における関数評価値から関数を完全に再構成できるための数学的条件は何か？
• RQ4 MLP やTransformerといった単純で特化されていないニューラルアーキテクチャが、連続関数空間において高品質な生成を達成可能か？
• RQ5 本提案フレームワークは、画像・音声・動画など多様なデータモダリティにおいて、アーキテクチャやデータ固有のチューニングなしに、どのように性能を発揮するか？

主な発見

• fDPsは、従来の拡散モデルと比較して桁違いに少ないパラメータ数を持つ単純なMLPを用いても、高精細な画像生成を達成し、優れたパラメータ効率性を示した。
• 本フレームワークは、1回の学習ランで任意の解像度の画像を生成可能な「解像度フリー生成」を実現しており、MNISTにおける超解像実験でその有効性が示された。
• 補完生成タスク（例：穴埋め、ぼかし除去、色付け）において、質的に整合性のある結果が得られ、欠損または損傷した領域が意味論的構造を保ちながら再構成された。
• Spoken Digitデータセットを用いた初期の音声生成実験では、モデルが生波形から直接、聞き取り可能な発話された数字を生成でき、実サンプルと一致する知覚的に正確な波形を再現した。
• インパルシットニューラル表現（INRs）とTransformerの使用により、関数値とスコアの効果的かつ柔軟な同時モデリングが可能となり、柔軟でスケーラブルな関数表現を実現した。
• 拡張されたギルサノフの定理と標本化定理に基づく理論的枠組みにより、訓練目的関数が有効なELBOであることが保証され、無限次元におけるヒューリスティックなスコアマッチングとは対照的に、原理的かつ整合性のある代替手法を提供した。

Figure 2 : Qualitative results with UViT.