[論文レビュー] Efficient Diffusion Models for Vision: A Survey

Anwaar Ulhaq, Naveed Akhtar|arXiv (Cornell University)|Oct 7, 2022

Fractional Differential Equations Solutions被引用数 30

ひとこと要約

視覚タスク向けの計算効率の高い拡散モデルの総説で、品質を維持しつつサンプリングを速める設計・プロセス戦略を詳述します。

ABSTRACT

Diffusion Models (DMs) have demonstrated state-of-the-art performance in content generation without requiring adversarial training. These models are trained using a two-step process. First, a forward - diffusion - process gradually adds noise to a datum (usually an image). Then, a backward - reverse diffusion - process gradually removes the noise to turn it into a sample of the target distribution being modelled. DMs are inspired by non-equilibrium thermodynamics and have inherent high computational complexity. Due to the frequent function evaluations and gradient calculations in high-dimensional spaces, these models incur considerable computational overhead during both training and inference stages. This can not only preclude the democratization of diffusion-based modelling, but also hinder the adaption of diffusion models in real-life applications. Not to mention, the efficiency of computational models is fast becoming a significant concern due to excessive energy consumption and environmental scares. These factors have led to multiple contributions in the literature that focus on devising computationally efficient DMs. In this review, we present the most recent advances in diffusion models for vision, specifically focusing on the important design aspects that affect the computational efficiency of DMs. In particular, we emphasize the recently proposed design choices that have led to more efficient DMs. Unlike the other recent reviews, which discuss diffusion models from a broad perspective, this survey is aimed at pushing this research direction forward by highlighting the design strategies in the literature that are resulting in practicable models for the broader research community. We also provide a future outlook of diffusion models in vision from their computational efficiency viewpoint.

研究の動機と目的

• 高い計算量とエネルギーコストのため、効率的な拡散モデルが必要であることを動機づける。
• 視覚拡散モデルの効率を向上させる設計選択とプロセス戦略を分類・統合する。
• より速く、よりアクセスしやすい拡散ベースの視覚システムを実現する実用的な設計パターンを強調する。
• 拡散モデルにおける効率志向の研究方向性を展望する。

提案手法

• 拡散モデルの基本と、Efficient性に関連する三つの影響力のあるアーキテクチャ（DDPM、LDM、Frido）をレビューする。
• 効率戦略を Efficient Design Strategies (EDS) と Efficient Process Strategies (EPS) に分類する。
• 代表的な研究をアーキテクチャカテゴリと戦略タイプにマップし、表で整理する。
• 効率性を高めるためのガイダンス、離散化、スコアベース手法、ピラミッド／マルチスケールアプローチ、潜在空間拡散を解説する。

実験結果

リサーチクエスチョン

• RQ1 視覚の拡散モデルにおいて、どの設計選択が計算量を最も効果的に削減するか？
• RQ2 サンプリングをサンプル品質を犠牲にせず最も強く加速するプロセスレベルの技術は何か？
• RQ3 潜在空間およびマルチスケールアプローチは、ピクセル空間の拡散と比較して効率と品質にどのような差があるか？
• RQ4 効率的な拡散手法における速度と忠実度の実践的なトレードオフは何か？

主な発見

• 効率的拡散の研究は、設計戦略（EDS）とプロセス戦略（EPS）に整理される。
• 潜在拡散とマルチスケール（ピラミッド型）アプローチは、潜在空間やスケール間での動作により効率を大幅に向上させる。
• ガイダンス戦略（Classifier-guided 対 Classifier-free）は忠実度と多様性に影響を与え、多くの場合品質のために多様性をトレードオフする。
• さまざまなサンプリング加速（SDEベース、ODEソルバー、高速サンプリング技術）は、バニラ DDPM と比べて大幅な速度向上を達成する。
• ピラミッド型および潜在空間設計（例：LDM, Frido）は、サンプルごとの計算を抑えつつ高い視覚品質を維持する。
• この総説は拡散の効率とGANの間の継続的なギャップを指摘する一方、実用的な拡散モデルを可能にする急速な進展を強調する。