[論文レビュー] PFGM++: Unlocking the Potential of Physics-Inspired Generative Models

Yilun Xu, Ziming Liu+4 more|arXiv (Cornell University)|Feb 8, 2023

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

PFGM++ は拡張次元 D を導入して PFGM と拡散モデルを統合する。有限の D は CIFAR-10/FFHQ 64×64 で拡散を上回ることがあり、拡張ハイパーパラメータを拡散モデルから転送する整列法を提供する。

ABSTRACT

We introduce a new family of physics-inspired generative models termed PFGM++ that unifies diffusion models and Poisson Flow Generative Models (PFGM). These models realize generative trajectories for $N$ dimensional data by embedding paths in $N{+}D$ dimensional space while still controlling the progression with a simple scalar norm of the $D$ additional variables. The new models reduce to PFGM when $D{=}1$ and to diffusion models when $D{ o}\infty$. The flexibility of choosing $D$ allows us to trade off robustness against rigidity as increasing $D$ results in more concentrated coupling between the data and the additional variable norms. We dispense with the biased large batch field targets used in PFGM and instead provide an unbiased perturbation-based objective similar to diffusion models. To explore different choices of $D$, we provide a direct alignment method for transferring well-tuned hyperparameters from diffusion models ($D{ o} \infty$) to any finite $D$ values. Our experiments show that models with finite $D$ can be superior to previous state-of-the-art diffusion models on CIFAR-10/FFHQ $64{ imes}64$ datasets, with FID scores of $1.91/2.43$ when $D{=}2048/128$. In class-conditional setting, $D{=}2048$ yields current state-of-the-art FID of $1.74$ on CIFAR-10. In addition, we demonstrate that models with smaller $D$ exhibit improved robustness against modeling errors. Code is available at https://github.com/Newbeeer/pfgmpp

研究の動機と目的

• 物理に着想を得た生成モデルの広いファミリーを動機づけ、Poisson flow の概念をより高い拡張次元へ拡張 formalize する。
• 大規模バッチの電場ターゲットを回避し、ペア条件付き生成を可能にする攪乱ベースの訓練Objective を開発する。
• D がロバスト性と硬直性のバランスをどう制御するかを示し、拡張次元 D で拡散モデルのハイパーパラメータを転送する方法を提供する。
• 拡散モデルを D→∞ の極限として捉え、適切な極限でのサンプリングと訓練の等価性を確立する理論的関係を示す。

提案手法

• 拡張データを x˜=(x,z) とし、 z∈R^D、サンプリングを支配する N+D 次元の電場 E(x˜) を導出する。
• SO(D) 対称性を利用して z をスカラーのノルム r=||z|| に縮約し、ODE dx/dt=E(x˜)x/E(x˜)r に座標変換を適用して dx/dr=E(x˜)x/E(x˜)r を用いる。
• 攪乱ベースの目的を導入し、サンプリングターゲットを電場の方向に一致させるカーネル p_r(x|y)∝1/(||x−y||^2+r^2)^{(N+D)/2} で unbiased な訓練を可能にする（Eq. 6）。
• D→∞ が拡散モデルの訓練とサンプリングを回復することを証明する（定理 4.1 および関連する命題）。
• r=σ√D を関連付けて p_r と拡散対応物を整列させ、中間分布を有限 D に対してゼロショット転送可能にするハイパーパラメータ整列法を提供する（Appendix C）。
• D を変化させることで連続的なモデルを提供し、D=1（元の PFGM）および D→∞（拡散モデル）を含む。

Figure 1: Overview of paper contributions and structure. PFGM++ unify PFGM and diffusion models, as well as the potential to combine their strengths (robustness and rigidity).

実験結果

リサーチクエスチョン

• RQ1 拡張次元 D をどのように用いて PFGM と拡散モデルを統合・内挿できるか。
• RQ2 攪乱ベースの目的は大規模バッチを必要とせず unbiased な訓練と条件付き生成を提供できるか。
• RQ3 有限 D がロバスト性、学習の硬直性、データセット全体の生成品質に与える影響はどうなるか。
• RQ4 拡散モデルのハイパーパラメータを有限 D に転送して、広範な再調整を要せずに高性能を得られるか。
• RQ5 有限-D PFGM++ は標準ベンチマークで従来の拡散モデルを上回り、ロバスト性も向上するか。

主な発見

• Finite-D PFGM++ models can outperform previous state-of-the-art diffusion models on CIFAR-10 and FFHQ-64×64 in unconditional generation (FID 1.91/2.43 with D=2048/128).
• In class-conditional generation, D=2048 yields a new state-of-the-art FID of 1.74 on CIFAR-10.
• PFGM corresponds to D=1 and diffusion models correspond to D→∞, with theoretical equivalence in the appropriate limits (sampling and training).
• Finite D values provide improved robustness against modeling errors (e.g., noise, large steps, quantization) compared to diffusion models.
• An alignment method transfers well-tuned diffusion-model hyperparameters to finite D values, enabling practical zero-shot hyperparameter transfer.
• For CIFAR-10 and FFHQ-64×64, intermediate D (e.g., D≈2048/128) is identified as a sweet spot balancing robustness and learning rigidity.

Figure 2: The augmented dimension $D$ affects electric field lines ( gray ), which connect charge/data on a line ( purple ) to latent space ( green ). When $D=1$ (top) or $D=2$ (bottom), electric field lines map the same red line segment to a blue line segment or onto a blue ring, respectively. The