[論文レビュー] Improved Order Analysis and Design of Exponential Integrator for Diffusion Models Sampling

Qinsheng Zhang, Jiaming Song+1 more|arXiv (Cornell University)|Aug 4, 2023

Advanced Neuroimaging Techniques and ApplicationsMedicine被引用数 3

ひとこと要約

本稿では、既存手法で見過ごされていた次数条件を是正する、拡散モデルサンプリング向けの新規高次指数積分法「Refined Exponential Solver (RES)」を提案する。確率フローODEを正規化された半線形形式に再定式化し、完全な次数条件を満たすことで、理論的誤差境界と実用的性能の両方を向上させた。ImageNetにおいて、DPM-Solver++と比較して9 NFEの条件下でFIDを25.4%低減、数値的欠陥を25.2%低減した。

ABSTRACT

Efficient differential equation solvers have significantly reduced the sampling time of diffusion models (DMs) while retaining high sampling quality. Among these solvers, exponential integrators (EI) have gained prominence by demonstrating state-of-the-art performance. However, existing high-order EI-based sampling algorithms rely on degenerate EI solvers, resulting in inferior error bounds and reduced accuracy in contrast to the theoretically anticipated results under optimal settings. This situation makes the sampling quality extremely vulnerable to seemingly innocuous design choices such as timestep schedules. For example, an inefficient timestep scheduler might necessitate twice the number of steps to achieve a quality comparable to that obtained through carefully optimized timesteps. To address this issue, we reevaluate the design of high-order differential solvers for DMs. Through a thorough order analysis, we reveal that the degeneration of existing high-order EI solvers can be attributed to the absence of essential order conditions. By reformulating the differential equations in DMs and capitalizing on the theory of exponential integrators, we propose refined EI solvers that fulfill all the order conditions, which we designate as Refined Exponential Solver (RES). Utilizing these improved solvers, RES exhibits more favorable error bounds theoretically and achieves superior sampling efficiency and stability in practical applications. For instance, a simple switch from the single-step DPM-Solver++ to our order-satisfied RES solver when Number of Function Evaluations (NFE) $=9$, results in a reduction of numerical defects by $25.2\%$ and FID improvement of $25.4\%$ (16.77 vs 12.51) on a pre-trained ImageNet diffusion model.

研究の動機と目的

• 拡散モデル向け高次指数積分法における性能劣化の根本的原因を特定すること。
• DPM-Solver++などの既存ソルバーや、理論的収束速度と実際の性能の間にあるギャップを解消すること。
• 誤差再帰と耐性を向上させるために、すべての次数条件を満たす新しいソルバを開発すること。
• 提案手法の一般化可能性と優位性を、多様な拡散モデルおよびサンプリング設定において実証すること。

提案手法

• 変数変換を用いて、拡散モデルの確率フローODEを正規化された半線形形式に再定式化し、ノイズ予測モデルとデータ予測モデルを統一する。
• 1段階指数積分法の厳密な次数解析を実施し、既存手法が退化したButcherテーブルのため、重要な次数条件を違反していることを明らかにした。
• すべての必要な次数条件を満たす新たなButcherテーブルを構築することで、Refined Exponential Solver (RES) を設計した。
• 退化したソルバーよりもはるかにタイトな理論的誤差境界をRESについて導出し、より良い安定性と収束性を保証した。
• 単段階および多段階の決定的サンプリングスキーム、さらに確率的サンプリングに対してもRESを統合し、広範な適用性を確保した。
• ImageNetおよびDeepFloyd IFモデルにおける広範な実験を通じて、同一設定下での最先端ベースラインと比較して手法を検証した。

実験結果

リサーチクエスチョン

• RQ1 なぜ、最適収束速度を主張するにもかかわらず、拡散モデルにおける高次指数積分法は性能を発揮しないのか？
• RQ2 既存の指数積分法ソルバーや、精度と安定性の低下を引き起こす特定の次数条件の欠落は何か？
• RQ3 拡散モデルの確率フローODEをどのように再パrameter化すれば、統一的かつ安定した数値解法フレームワークを実現できるか？
• RQ4 指数積分法に完全な次数条件を強制することで、サンプリング品質と効率性がどの程度向上するか？
• RQ5 提案された「Refined Exponential Solver (RES)」は、多様な拡散モデルアーキテクチャおよびデータモダリティにおいて、既存の最先端手法を凌駆できるか？

主な発見

• 9 NFEで、事前学習済みImageNet拡散モデルにおいて、単段階DPM-Solver++から単段階RESに切り替えることで、FIDが16.77から12.51に低下し、25.4%の改善が達成された。
• 同じ切り替えにより、数値的欠陥が25.2%低減され、精度と安定性の向上が明確に示された。
• 最適でないステップサイズスケジュールを用いた場合、DPM-Solver++よりも最大40%の加速が達成され、耐性の高さが裏付けられた。
• DeepFloyd IF-I-XLモデルでは、25 NFEで単段階RESが、高品質な64×64画像生成において多段階法を上回った。
• IF-II-Lにおける段階的サンプリングでは、単段階RESが、より少ないNFEでも多段階ベースラインを上回る256×256画像の高品質生成を達成した。
• 提案手法は、ノイズ予測とデータ予測の両フォーミュレーションを含む、さまざまなモデルと設定に一般化可能であり、FIDおよび知覚的品質の両面で一貫した向上が得られた。