[논문 리뷰] DeepCache: Accelerating Diffusion Models for Free

Xinyin Ma, Gongfan Fang외 1명|arXiv (Cornell University)|2023. 12. 01.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

DeepCache는 U-Net 아키텍처에서 순차적인 노이즈 제거 단계 동안 고수준 특징을 캐시하여 추론 시기 동안의 디퓨전 모델을 가속화한다. 이로 인해 중복 계산을 줄일 수 있으며, 재학습 또는 모델 미세조정 없이도 2.3×의 속도 향상을 달성한다. Stable Diffusion v1.5에서는 CLIP 점수 0.05 하락을 동반하였고, LDM-4-G에서는 FID 점수 0.22 상승을 감수하면서도 4.1×의 속도 향상을 기록하였다.

ABSTRACT

Diffusion models have recently gained unprecedented attention in the field of image synthesis due to their remarkable generative capabilities. Notwithstanding their prowess, these models often incur substantial computational costs, primarily attributed to the sequential denoising process and cumbersome model size. Traditional methods for compressing diffusion models typically involve extensive retraining, presenting cost and feasibility challenges. In this paper, we introduce DeepCache, a novel training-free paradigm that accelerates diffusion models from the perspective of model architecture. DeepCache capitalizes on the inherent temporal redundancy observed in the sequential denoising steps of diffusion models, which caches and retrieves features across adjacent denoising stages, thereby curtailing redundant computations. Utilizing the property of the U-Net, we reuse the high-level features while updating the low-level features in a very cheap way. This innovative strategy, in turn, enables a speedup factor of 2.3$ imes$ for Stable Diffusion v1.5 with only a 0.05 decline in CLIP Score, and 4.1$ imes$ for LDM-4-G with a slight decrease of 0.22 in FID on ImageNet. Our experiments also demonstrate DeepCache's superiority over existing pruning and distillation methods that necessitate retraining and its compatibility with current sampling techniques. Furthermore, we find that under the same throughput, DeepCache effectively achieves comparable or even marginally improved results with DDIM or PLMS. The code is available at https://github.com/horseee/DeepCache

연구 동기 및 목표

• 디퓨전 모델 추론의 높은 계산 비용, 특히 순차적 노이즈 제거와 큰 모델 크기로 인한 비용을 해결한다.
• 프루닝 및 지식 정복과 같은 재학습이 필요한 기존 압축 방법의 한계를 극복한다.
• 노이즈 제거 단계 간 고수준 특징의 내재된 시간적 중복성을 활용하여 재학습 없이도 가속화를 가능하게 한다.
• 빠른 샘플러인 DDIM 및 PLMS와 비교해도 유지 또는 약간 향상된 생성 품질을 유지하면서도 상당한 속도 향상을 달성한다.

제안 방법

• U-Net 아키텍처에서 이전 노이즈 제거 단계의 고수준 특징을 캐시하여 이후 단계에서 재계산을 방지한다.
• U-Net의 스킵 커넥션을 활용해 각 단계에서 저수준 특징만 업데이트하고, 고수준 특징은 캐시된 내용을 재사용한다.
• 전체 모델 추론 단계 간격을 늘릴 수 있도록 비균일한 1:N 캐싱 전략을 도입하여 효율성을 최적화한다.
• 사전 학습된 모델 가중치를 수정하거나 미세조정이 필요 없이 추론 중에 동적으로 캐싱 메커니즘을 적용한다.
• 캐시된 특징에 대해 경량의 U-Net 헤드를 사용해 추가 계산을 최소화한다.
• DDIM 및 PLMS와 같은 기존 샘플링 방법과 원활하게 통합되어 보조 가속화 계층으로 기능한다.

Figure 2 : (a) Examples of feature maps in the up-sampling block $U_{2}$ in Stable Diffusion. We present a comparison from two adjacently paired steps, emphasizing the invariance inherent in the denoising process. (b) Heatmap of similarity between $U_{2}$ ’s features in all steps on three typical di

실험 결과

연구 질문

• RQ1 노이즈 제거 단계 간 고수준 특징의 시간적 중복성을 활용하여 재학습 없이도 디퓨전 모델 추론을 가속화할 수 있는가?
• RQ2 특징 캐싱은 디퓨전 모델에서 계산 오버헤드를 줄이면서도 생성 품질을 유지하는 데 얼마나 효과적인가?
• RQ3 속도 향상과 이미지 품질 저하 사이의 균형을 고려할 때 최적의 캐싱 간격(N)은 무엇인가?
• RQ4 프루닝 및 정복과 같은 재학습 기반 압축 방법과 비교했을 때, DeepCache는 속도와 품질 측면에서 어떻게 성능을 내는가?
• RQ5 DeepCache는 DDIM 및 PLMS와 같은 빠른 샘플러와 효과적으로 조합되어 처리량과 품질을 더욱 향상시킬 수 있는가?

주요 결과

• Stable Diffusion v1.5에서는 CLIP 점수 0.05 하락을 동반하면서도 2.3×의 속도 향상을 달성하여 품질 손실가 최소화됨을 입증하였다.
• ImageNet에서 LDM-4-G에 대해선 FID 점수 0.22 상승을 감수하면서도 4.1×의 속도 향상을 기록하였고, 재학습 기반 압축 방법보다 뛰어난 성능을 보였다.
• 같은 처리량 조건에서 DDIM 및 PLMS와 비교해도 DeepCache는 생성 품질을 유지하거나 약간 향상시켰으며, FID 및 sFID 지표로 이를 확인하였다.
• 제거 실험 결과, 캐시된 특징이 핵심 요소임을 입증하였으며, Cifar10에서 이들을 제거할 경우 FID가 4.35에서 192.98로 급격히 증가함을 확인하였다.
• 캐시된 특징에 대해 경량 네트워크를 사용한 추론은 기준 DDIM보다 성능을 향상시켰으며, 10단계 추론에서 FID를 2.98 감소시켰다.
• 큰 캐싱 간격(N=20 등)에서는 성능 저하가 발생함을 확인하여, 특징 이격 현상으로 인해 속도 향상의 상한선이 존재함을 시사하였다.

Figure 3 : Illustration of DeepCache. At the $t-1$ step, $x_{t-1}$ is generated by reusing the features cached at the $t$ step, and the blocks ${D_{2},D_{3},U_{2},U_{3}}$ are not executed for more efficient inference.