[논문 리뷰] Faster Diffusion: Rethinking the Role of UNet Encoder in Diffusion Models

Senmao Li, Taihang Hu외 6명|arXiv (Cornell University)|2023. 12. 15.

Advanced Neuroimaging Techniques and Applications인용 수 5

한 줄 요약

이 논문은 확산 모델에서 인접한 시간 단계 간에 UNet 인코더 특징을 재사용하는 인코더 전파 방식을 제안하며, 지식 정련 없이 Stable Diffusion의 경우 최대 41% 향상되고 DeepFloyd-IF의 경우 최대 24% 향상되는 등 추론 속도를 크게 향상시킨다. 이 방법은 인코더 특징이 시간에 따라 거의 변화하지 않음을 관찰하여, 병렬 복호화를 가능하게 하고 추론 효율성을 향상시키며, 사전 노이즈 주입 전략을 통해 높은 이미지 품질을 유지한다.

ABSTRACT

One of the key components within diffusion models is the UNet for noise prediction. While several works have explored basic properties of the UNet decoder, its encoder largely remains unexplored. In this work, we conduct the first comprehensive study of the UNet encoder. We empirically analyze the encoder features and provide insights to important questions regarding their changes at the inference process. In particular, we find that encoder features change gently, whereas the decoder features exhibit substantial variations across different time-steps. This finding inspired us to omit the encoder at certain adjacent time-steps and reuse cyclically the encoder features in the previous time-steps for the decoder. Further based on this observation, we introduce a simple yet effective encoder propagation scheme to accelerate the diffusion sampling for a diverse set of tasks. By benefiting from our propagation scheme, we are able to perform in parallel the decoder at certain adjacent time-steps. Additionally, we introduce a prior noise injection method to improve the texture details in the generated image. Besides the standard text-to-image task, we also validate our approach on other tasks: text-to-video, personalized generation and reference-guided generation. Without utilizing any knowledge distillation technique, our approach accelerates both the Stable Diffusion (SD) and the DeepFloyd-IF models sampling by 41$\%$ and 24$\%$ respectively, while maintaining high-quality generation performance. Our code is available in \href{https://github.com/hutaiHang/Faster-Diffusion}{FasterDiffusion}.

연구 동기 및 목표

• 확산 추론 과정에서 UNet 인코더 및 디코더 특징의 동적 행동을 조사하기 위해.
• 확산 모델에서 매 시간 단계마다 반복적으로 인코더 특징을 계산하는 데서 비효율성을 해결하기 위해.
• 다양한 조건부 생성 작업에 걸쳐 경량이며 정련 없이 확산 추론 속도를 향상시키는 방법을 개발하기 위해.
• 특히 무늬가 풍부한 영역에서 특징 재사용에도 불구하고 고해상도 이미지 세부 정보를 유지하기 위해.
• 텍스트-이미지, 텍스트-비디오, 개인 맞춤형 및 참조 가이드드 생성 작업에서 방법을 검증하기 위해.

제안 방법

• 저자는 시간 단계 간 특징의 변화를 분석하고, UNet 인코더 특징은 온화하게 변화하는 반면 디코더 특징은 상당히 다름을 발견한다.
• 특징이 매우 유사할 경우 이전 시간 단계의 인코더 특징을 재사용하는 인코더 전파 방식을 제안하여 중복 계산을 줄인다.
• 특징 재사용이 안전한 시간 단계를 결정하기 위해 비균일한 핵심 시간 단계 선택 전략을 도입한다.
• 동일한 인코더 특징을 재사용함으로써 인접한 여러 시간 단계에서 병렬 복호화를 가능하게 하여 추론 속도를 더욱 향상시킨다.
• 특징 재사용으로 인해 손실된 무늬 세부 정보를 복원하기 위해 사전 노이즈 주입 메커니즘을 적용하며, 초기 노이즈 $ z_T $ 를 잠재 공간에 주입한다.
• 이 방법은 텍스트-이미지, 텍스트-비디오, 개인 맞춤형 및 참조 가이드드 생성을 포함한 여러 확산 작업에 종단 간으로 적용된다.

실험 결과

연구 질문

• RQ1 확산 추론 과정에서 UNet 인코더 및 디코더 특징은 시간 단계에 따라 어떻게 변화하는가?
• RQ2 생성 품질이 떨어지지 않도록 얼마나 많은 인코더 특징을 재사용할 수 있는가?
• RQ3 인접한 시간 단계에서 인코더 특징 재사용이 병렬 복호화를 가능하게 하여 추론 속도를 향상시킬 수 있는가?
• RQ4 인코더 전파가 무늬 충실도에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 제안된 방법은 지식 정련이나 모델 미세조정 없이 다양한 조건부 생성 작업에서 속도 향상을 달성할 수 있는가?

주요 결과

• 인코더 특징은 시간 단계 간에 최소한의 변화를 보이며, 인접한 단계 간 유사도가 매우 높다. 반면 디코더 특징은 상당한 변화를 보인다.
• 제안된 인코더 전파 방식은 병렬 복호화와 결합하여 Stable Diffusion의 추론 속도를 41% 향상시키고, DeepFloyd-IF의 경우 24% 향상시킨다.
• 비균일한 핵심 시간 단계 선택 전략은 MS-COCO 2017 10K 데이터셋에서 FID(21.08)와 Clipscore(0.783) 모두에서 균일한 전략보다 뛰어난 성능을 보였다.
• 사전 노이즈 주입은 무늬 열화를 감소시켜 기준 모델과 비교해 FID 변화가 극히 미미한 상태(21.08 vs. 21.75)로 고해상도 결과를 유지한다.
• 사용자 연구에서 기준 모델과 비교해 유사하거나 더 뛰어난 이미지 품질을 달성했으며, 인지적 품질에 유의미한 하락이 없었다.
• 지식 정련 없이도 텍스트-비디오, 개인 맞춤형 및 참조 가이드드 생성 등 다양한 작업에서 효과적인 것으로 확인되었다.