[논문 리뷰] Efficient Diffusion Models for Vision: A Survey

Anwaar Ulhaq, Naveed Akhtar|arXiv (Cornell University)|2022. 10. 07.

Fractional Differential Equations Solutions인용 수 30

한 줄 요약

비전(시각)용 계산적으로 효율적인 확산 모델에 대한 고찰로, 품질을 유지하면서 샘플링 속도를 높이는 설계 및 절차 전략을 자세히 다룬다.

ABSTRACT

Diffusion Models (DMs) have demonstrated state-of-the-art performance in content generation without requiring adversarial training. These models are trained using a two-step process. First, a forward - diffusion - process gradually adds noise to a datum (usually an image). Then, a backward - reverse diffusion - process gradually removes the noise to turn it into a sample of the target distribution being modelled. DMs are inspired by non-equilibrium thermodynamics and have inherent high computational complexity. Due to the frequent function evaluations and gradient calculations in high-dimensional spaces, these models incur considerable computational overhead during both training and inference stages. This can not only preclude the democratization of diffusion-based modelling, but also hinder the adaption of diffusion models in real-life applications. Not to mention, the efficiency of computational models is fast becoming a significant concern due to excessive energy consumption and environmental scares. These factors have led to multiple contributions in the literature that focus on devising computationally efficient DMs. In this review, we present the most recent advances in diffusion models for vision, specifically focusing on the important design aspects that affect the computational efficiency of DMs. In particular, we emphasize the recently proposed design choices that have led to more efficient DMs. Unlike the other recent reviews, which discuss diffusion models from a broad perspective, this survey is aimed at pushing this research direction forward by highlighting the design strategies in the literature that are resulting in practicable models for the broader research community. We also provide a future outlook of diffusion models in vision from their computational efficiency viewpoint.

연구 동기 및 목표

• 효율적인 확산 모델의 필요성이 높은 계산 및 에너지 비용으로 인해 제기되는 동기를 제공한다.
• 시각 확산 모델의 효율성을 높이는 설계 선택과 프로세스 전략을 분류하고 종합한다.
• 더 빠르고 접근 가능한 확산 기반 시각 시스템을 가능하게 하는 실용적 설계 패턴을 강조한다.
• 확산 모델의 효율성 지향 연구 방향에 대한 전향적 관점을 제시한다.

제안 방법

• 효율성과 관련된 확산 모델의 기본을 검토하고 세 가지 영향력 있는 아키텍처(DDPM, LDM, Frido)를 다룬다.
• 효율 전략을 Efficient Design Strategies (EDS)와 Efficient Process Strategies (EPS)로 분류한다.
• 대표 연구들을 아키텍처 범주 및 전략 유형에 맵핑하여 표로 제시한다.
• 효율성의 레버로서 가이던스, 이산화(discretization), 점수 기반 방법, 피라미드/다중 스케일 접근, 잠재 공간 확산을 설명한다.

실험 결과

연구 질문

• RQ1 비전용 확산 모델의 계산량을 가장 효과적으로 줄이는 설계 선택은 무엇인가?
• RQ2 샘플 품질을 손상시키지 않으면서 샘플링을 가장 크게 가속하는 프로세스 수준의 기법은 무엇인가?
• RQ3 잠재 공간 및 다중 스케일 접근이 픽셀 공간 확산에 비해 효율성과 품질에서 어떤 차이가 있는가?
• RQ4 빠른 속도와 충실도 사이의 실용적 트레이드오프는 무엇인가?

주요 결과

• 효율적 확산 작업은 설계 전략(EDS)과 프로세스 전략(EPS)으로 구성된다.
• 잠재 확산과 다중 스케일(피라미드) 접근은 잠재 공간 또는 스케일 간 작동으로 효율성을 크게 향상시킨다.
• 가이던스 전략(분류기 유도 vs 분류기 무)은 충실도와 다양성에 영향을 주며 종종 다양성을 품질에 양보한다.
• 다양한 샘플링 가속화(SDE 기반, ODE 솔버, 빠른 샘플링 기법)는 일반 DDPM에 비해 상당한 속도 향상을 달성한다.
• 피라미달 및 잠재 공간 설계(LDM, Frido 등)는 샘플당 계산을 줄이면서도 높은 시각 품질을 유지한다.
• 이 연구는 확산의 효율성과 GAN 간의 지속적인 차이를 지적하지만, 실용적 확산 모델을 가능하게 하는 급속한 진전을 강조한다.