[논문 리뷰] A Comprehensive Survey on Knowledge Distillation of Diffusion Models

Weijian Luo|arXiv (Cornell University)|2023. 04. 09.

Bayesian Methods and Mixture Models인용 수 9

한 줄 요약

확산 모델 증류 방법에 관한 고찰로, 확산-대-필드(Diffusion-to-Field), 확산-대-생성기(Diffusion-to-Generator), 및 학습-없음 증류(Training-Free distillation)를 분류하고, 학습-없음 샘플링 통찰과 여러 증류 전략을 제시한다.

ABSTRACT

Diffusion Models (DMs), also referred to as score-based diffusion models, utilize neural networks to specify score functions. Unlike most other probabilistic models, DMs directly model the score functions, which makes them more flexible to parametrize and potentially highly expressive for probabilistic modeling. DMs can learn fine-grained knowledge, i.e., marginal score functions, of the underlying distribution. Therefore, a crucial research direction is to explore how to distill the knowledge of DMs and fully utilize their potential. Our objective is to provide a comprehensible overview of the modern approaches for distilling DMs, starting with an introduction to DMs and a discussion of the challenges involved in distilling them into neural vector fields. We also provide an overview of the existing works on distilling DMs into both stochastic and deterministic implicit generators. Finally, we review the accelerated diffusion sampling algorithms as a training-free method for distillation. Our tutorial is intended for individuals with a basic understanding of generative models who wish to apply DM's distillation or embark on a research project in this field.

연구 동기 및 목표

• 확산 모델을 설명하고 이를 신경 벡터 필드로 증류하는 데 직면한 과제를 설명한다.
• 확산 모델을 확률적 및 결정적 암묵 제너레이터로 증류하는 기존 연구를 검토한다.
• 학습-없는 증류 방법으로서 가속화된 확산 샘플링 알고리즘을 요약한다.
• Diffusion-to-Field, Diffusion-to-Generator, Training-Free 카테고리로 증류 접근법을 정리한다.

제안 방법

• 확산 모델을 점수 기반 모델로 소개하고 ARMs 및 EBM과 대조한다.
• Fisher 발산과 점수 매칭을 SBM의 학습 목적으로 설명한다.
• 정방향 확산 SDE( VP 및 VE )와 그 주변 커널을 설명하고, DDIM/ODE 기반 샘플링이 증류를 가능하게 하는 방법을 설명한다.
• 세 가지 증류 카테고리인 D2F(출력 및 경로 증류), D2G, TF 증류를 대표적 방법 및 목표와 함께 요약한다.
• 진행형 증류(PD) 및 관련 특징/일관성 기반 증류 접근법과 이들의 샘플링 효율성 향상을 제시한다.

Figure 1: Forward and Reversed SDE of Diffusion Models. The figure is taken from Song et al. ( 2020d ) .

실험 결과

연구 질문

• RQ1 성능의 큰 손실 없이 낮은 NFEs 샘플러로 확산 모델을 증류하는 효과적인 전략은 무엇인가?
• RQ2 교사 확산 모델의 지식을 가벼운 학생 제너레이터나 벡터 필드로 어떻게 전달할 수 있는가?
• RQ3 확산 샘플링을 가속화하기 위한 학습-없는 혹은 거의 학습-없는 접근 방식은 무엇이 있는가?
• RQ4 다양한 증류 파이프라인(D2F, D2G, TF)이 작업 간 효율성과 충실도 측면에서 어떻게 비교되는가?

주요 결과

• 출력 증류는 학생이 교사 ODE 출력과 동일하게 더 큰 스텝으로 모사하도록 학습시킬 수 있어 더 적은 NFEs를 달성한다(일부 경우에는 1 NFE).
• 점진적 증류는 단계당 NFEs를 절반으로 줄일 수 있어, 약간의 정확도 손실(보고된 사례에서 약 5% FID 하락)과 함께 단 몇 단계에서 4 NFEs까지 도달할 수 있다.
• 두 단계 증류는 분류기-자유 가이던스로 조건부 확산 모델을 유지하면서 샘플링 스텝을 줄일 수 있다.
• 특징 공간 증류(CFD)는 학생의 출력이 멀티 스텝 교사 특징과 정합되도록 하여 픽셀-공간 출력 대신 효율성을 향상시킨다.
• 두 단계 증류 접근법은 픽셀-공간 및 잠재-공간 조건부 확산에 적용되어 더 적은 NFEs로 경쟁력 있거나 우수한 FID를 달성한다.
• 자기 일관성 증류(일관성 모델)는 생성적 ODE의 몇 스텝을 사용하여 경로 수준의 일관성을 강제한다.

Figure 2: Knowledge Distillation Strategy proposed in Luhman and Luhman ( 2021 ) .