[論文レビュー] Accelerating Parallel Sampling of Diffusion Models

Zhiwei Tang, Jiasheng Tang+3 more|arXiv (Cornell University)|Feb 15, 2024

Advanced Mathematical Modeling in Engineering被引用数 4

ひとこと要約

本稿では、微調整不要で汎用的な並列サンプリング手法であるParaTAAを提案する。この手法は、自己回帰的サンプリングプロセスを固定点反復法を用いた三角型非線形方程式の解法に再定式化することで、並列計算を可能にする。三角型アンドリュースト加速と適応的ウィンドウ化を活用することで、推論ステップ数を4倍から14倍まで削減し、逐次的サンプリングとほぼ同一の画像品質を達成する。例えば、Stable Diffusionでは、100ステップのDDIMで得られる結果をたった7ステップで再現可能である。

ABSTRACT

Diffusion models have emerged as state-of-the-art generative models for image generation. However, sampling from diffusion models is usually time-consuming due to the inherent autoregressive nature of their sampling process. In this work, we propose a novel approach that accelerates the sampling of diffusion models by parallelizing the autoregressive process. Specifically, we reformulate the sampling process as solving a system of triangular nonlinear equations through fixed-point iteration. With this innovative formulation, we explore several systematic techniques to further reduce the iteration steps required by the solving process. Applying these techniques, we introduce ParaTAA, a universal and training-free parallel sampling algorithm that can leverage extra computational and memory resources to increase the sampling speed. Our experiments demonstrate that ParaTAA can decrease the inference steps required by common sequential sampling algorithms such as DDIM and DDPM by a factor of 4$\sim$14 times. Notably, when applying ParaTAA with 100 steps DDIM for Stable Diffusion, a widely-used text-to-image diffusion model, it can produce the same images as the sequential sampling in only 7 inference steps. The code is available at https://github.com/TZW1998/ParaTAA-Diffusion.

研究の動機と目的

• 高品質な生成が可能でもリアルタイムでの導入が制限される自己回帰的拡散モデルのサンプリング速度の遅さを解消すること。
• モデルの微調整や蒸留を必要とせず、本質的に逐次のサンプリングプロセスを並列化する手法を開発すること。
• DDIM や DDPM といった逐次的手法と比較して、顕著に推論ステップ数を削減しながらも、画像の品質と多様性を維持すること。
• 追加の計算リソースやメモリを活用して、忠実度を損なわずに推論を高速化すること。
• 拡散モデルにおける並列サンプリングの収束解析と最適化の理論的基盤を提供すること。

提案手法

• 固定点反復法（FP）を用いて、拡散モデルのサンプリングプロセスを三角型非線形方程式系の解法に再定式化することで、中間ステップの並列計算を可能にする。
• 過去の反復履歴を三角構造で活用することで、固定点反復の収束を加速する三角型アンドリュースト加速（TAA）を導入する。
• 収束速度と計算コストのトレードオフを制御するため、使用する過去の反復履歴数を動的に調整する適応的ウィンドウ化を適用する。
• 類似したプロンプトからの事前サンプリング履歴を用いて初期化することで、収束を迅速化し、類似プロンプトではステップ数を著しく削減する。
• DDIM や DDPM といった既存の逐次的サンプラーと統合するため、非線形方程式系における係数構造を変更するだけで、再訓練なしに統合可能である。
• 16ビット精度と効率的なGPUメモリアクセスを最適化することで、モデル重みを変更せずにウォルクロック時間を短縮する。

(a) DDIM 100 steps

実験結果

リサーチクエスチョン

• RQ1 拡散モデルにおける自己回帰的サンプリングプロセスは、画像品質を維持したまま、効果的に並列化可能か？
• RQ2 固定点反復法をどのように体系的に最適化すれば、拡散モデルの非線形方程式系の解法における収束を加速できるか？
• RQ3 ウィンドウサイズと初期化戦略が、並列サンプリングにおける収束速度と推論ステップ数の削減に与える影響は何か？
• RQ4 モデルの微調整なしに、追加の計算リソースをどれだけ活用して推論ステップ数を削減できるか？
• RQ5 提案手法は、逐次的サンプリングとほぼ同一の結果を達成しながら、1000倍程度の高速化を実現可能か？

主な発見

• ParaTAAは、DDIM や DDPM といった逐次的サンプリング手法が要する推論ステップ数を4倍から14倍まで削減する。
• Stable Diffusion において100ステップのDDIMを用いる場合、ParaTAAはたった7ステップで同等の画像品質を達成し、14倍の高速化を実現する。
• ウィンドウサイズを10に設定した場合、Stable DiffusionにおけるDDIMの推論ステップ数を100から25に削減し、4倍の高速化を達成する。
• ウィンドウサイズを10から20に倍増させても、ステップ数は25から21にしか減少せず、ある閾値を超えると収束効果の増加が著しく鈍化することが示された。
• 類似プロンプトからの事前履歴を初期化に用いることで、収束時間を最大3倍短縮でき、高品質な画像をわずか3ステップで生成可能である。
• 本手法は、逐次的サンプリングと同等の画像忠実度と多様性を維持しており、収束性と解の一意性に関する理論的保証も有する。

(b) DDPM 100 steps