[論文レビュー] Minimizing Trajectory Curvature of ODE-based Generative Models

Sangyun Lee, Beomsu Kim+1 more|arXiv (Cornell University)|Jan 27, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文は、ODEベースの生成モデルにおける軌道曲率を最小化する手法を提案する。前向きプロセスを、軌道同士の交差を減らすように学習させることで、切り捨て誤差を低減し、サンプリングを高速化する。時間条件付きβ-VAEとして問題を定式化することで、学習中にODEシミュレーションを必要とせず、FIDスコアを顕著に低減（例：5 NFEで18.74 vs. 37.19）する。

ABSTRACT

Recent ODE/SDE-based generative models, such as diffusion models, rectified flows, and flow matching, define a generative process as a time reversal of a fixed forward process. Even though these models show impressive performance on large-scale datasets, numerical simulation requires multiple evaluations of a neural network, leading to a slow sampling speed. We attribute the reason to the high curvature of the learned generative trajectories, as it is directly related to the truncation error of a numerical solver. Based on the relationship between the forward process and the curvature, here we present an efficient method of training the forward process to minimize the curvature of generative trajectories without any ODE/SDE simulation. Experiments show that our method achieves a lower curvature than previous models and, therefore, decreased sampling costs while maintaining competitive performance. Code is available at https://github.com/sangyun884/fast-ode.

研究の動機と目的

• ODEベースの生成モデルにおける高いサンプリングコストを低減すること。これは、数値積分法における高曲率な軌道と関連する切り捨て誤差に起因する。
• 補正流れおよびODE/SDEベースのモデルにおける、前向き軌道の交差と逆向き軌道の曲率の関係を調査すること。
• 学習中にODEシミュレーションを必要としない、軌道曲率を最小化する訓練手法を開発すること。
• 少ない関数評価回数（NFE）で高速なサンプリングを可能にするとともに、競争力のある生成性能を維持すること。
• 既存のODEベースの生成モデルの加速技術とは補完的で、効率的な代替手段を提供すること。

提案手法

• 本手法は、前向き軌道同士の交差度を最小化するように前向きプロセスを学習させることで、逆向き軌道の曲率と相関する。
• 前向きプロセスを、時間と入力データに条件付けられた潜在変数を持つβ-VAEフレームワーク内の時間条件付きデコーダとして定式化する。
• 高交差度を罰則するための変分的目的関数を用い、βでスケーリングされたKLダイバージェンス項を導入する。
• 前向き軌道が発散するよう促進することで、暗黙的に曲率低減を達成し、共通の経路に収束するのを防ぐ。
• 学習中にODEシミュレーションを必要としないため、計算効率が高く、スケーラブルである。
• 既存のODE/SDEベースのモデルと互換性があり、他の加速技術と組み合わせ可能である。

実験結果

リサーチクエスチョン

• RQ1 ODEベースのモデルにおいて、前向き軌道の交差は、逆向き生成軌道の曲率とどのように関係しているか？
• RQ2 ODEシミュレーションを必要とせず、前向き軌道の交差を低減することで、逆向きプロセスにおける曲率低減が可能か？
• RQ3 曲率最小化は、関数評価回数を減らした状況でも、どの程度サンプリング効率を向上させられるか？
• RQ4 限られたサンプリング予算下で、本手法はベースラインのODEベースのモデルと比較して、FIDスコアおよびサンプル品質で優れているか？
• RQ5 再訓練なしで、異なるアーキテクチャおよびデータセットに一般化可能か？

主な発見

• 本手法は、CIFAR-10で5回の関数評価（NFE）でFIDスコア18.74を達成し、同じ条件下でベースラインの37.19を顕著に上回った。
• RK45ソルバを用いた完全なODEシミュレーションでも、β=20の設定で、すべてのNFE設定において優れたサンプル品質を達成した。
• 従来のモデルよりも効果的に軌道曲率を低減し、数値積分法における切り捨て誤差を低減した。
• 蒸留性能が向上し、低蒸留誤差で高品質な1ステップの学生モデルを生成できた。
• データセットにかかわらず安定した改善効果を示し、MNIST、CIFAR-10、CelebAHQ（64×64）で一貫した性能向上を確認した。
• β値を高く（例：20）設定することで、すべてのサンプリング予算でベースラインを上回り、手動でのハイパーパramータチューニングの必要性が低減した。