[논문 리뷰] Denoising Diffusion Step-aware Models

Shuai Yang, Yukang Chen외 3명|arXiv (Cornell University)|2023. 10. 05.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 소음 제거 확산 단계별 모델(Denosing Diffusion Step-aware Models, DDSM)을 제안한다. 이는 진화적 탐색을 통해 각 소음 제거 단계에서 신경망 크기를 동적으로 조정하여 계산 비용을 절감하는 프레임워크이다. 중요한 단계에는 더 큰 네트워크를, 덜 중요한 단계에는 더 작은, 잘라낸 네트워크를 할당함으로써, ImageNet과 CelebA-HQ와 같은 데이터셋에서 샘플 품질을 훼손하지 않고 최대 76%의 FLOPs 절감을 달성한다.

ABSTRACT

Denoising Diffusion Probabilistic Models (DDPMs) have garnered popularity for data generation across various domains. However, a significant bottleneck is the necessity for whole-network computation during every step of the generative process, leading to high computational overheads. This paper presents a novel framework, Denoising Diffusion Step-aware Models (DDSM), to address this challenge. Unlike conventional approaches, DDSM employs a spectrum of neural networks whose sizes are adapted according to the importance of each generative step, as determined through evolutionary search. This step-wise network variation effectively circumvents redundant computational efforts, particularly in less critical steps, thereby enhancing the efficiency of the diffusion model. Furthermore, the step-aware design can be seamlessly integrated with other efficiency-geared diffusion models such as DDIMs and latent diffusion, thus broadening the scope of computational savings. Empirical evaluations demonstrate that DDSM achieves computational savings of 49% for CIFAR-10, 61% for CelebA-HQ, 59% for LSUN-bedroom, 71% for AFHQ, and 76% for ImageNet, all without compromising the generation quality.

연구 동기 및 목표

• 생성 과정에서 각 단계에서 전체 네트워크 추론이 필요로 하는 소음 제거 확산 모델의 높은 계산 비용을 해결한다.
• 모든 소음 제거 단계가 동일한 계산 자원이 필요한지 도전적으로 검토하며, 단계 간 동일한 모델 복잡도 가정을 재고한다.
• 각 단계의 중요도에 따라 네트워크 용량을 적응적으로 할당하는 방법을 개발하여 불필요한 계산을 최소화한다.
• DDIM 및 잠재 확산과 같은 기존 가속 기법과의 호환성을 확보하여 실용적 적용 범위를 넓힌다.
• 데이터셋에 따라 단계 중요도 분포가 모델 효율성과 성능에 미치는 영향을 입증한다.

제안 방법

• 기본 U-Net의 잘라낸 변형을 사용하여 각 소음 제거 단계에서 신경망 용량이 달라지는 단계별 아키텍처를 제안한다.
• 생성 품질과 계산 비용을 기반으로 각 단계에 최적의 네트워크 크기(작은 것에서 큰 것까지)를 진화적 탐색으로 결정한다.
• 전정밀도 U-Net을 여러 개의 경량 변형으로 프루닝하여 원본과 가중치를 공유함으로써 재학습을 방지한다.
• DDIM 및 잠재 확산과 같은 기존의 확산 가속 기법과 단계별 설계를 통합하여 추가적인 효율성 향상을 도모한다.
• 검색 결과를 시각화하기 위해 부드러운 색상 바와 선 그래프를 사용하여 단계별로 네트워크 크기 분포를 표현한다.
• 다양한 다섯 개의 데이터셋에서 방법을 평가하여 일반화 가능성과 데이터셋에 따라 달라지는 최적화 전략을 검증한다.

실험 결과

연구 질문

• RQ1 확산 모델의 모든 소음 제거 단계가 동일한 수준의 계산 복잡도가 필요한가?
• RQ2 단계 간 동적 네트워크 프루닝이 샘플 품질 저하 없이 FLOPs를 줄일 수 있는가?
• RQ3 구조적 및 콘텐츠 특성이 다른 다양한 데이터셋에서 각 단계의 중요도는 어떻게 달라지는가?
• RQ4 DDIM 또는 잠재 확산과 같은 다른 가속 기법과의 조합에서 단계별 모델 프루닝은 어느 정도까지 효율성을 높일 수 있는가?
• RQ5 소음 제거 단계의 중요도 분포에 데이터셋별 패턴이 존재하는가, 그리고 이를 효율성 향상에 활용할 수 있는가?

주요 결과

• DDSM는 ImageNet 생성에서 최대 76%의 FLOPs 절감을 달성하면서도 높은 품질의 샘플을 유지하여 평가된 모든 데이터셋 중 가장 높은 효율성 향상을 보였다.
• CelebA-HQ에선 61%의 계산 비용 절감, LSUN-bedroom에선 59%, CIFAR-10에선 49%, AFHQ에선 71%의 절감을 기록했으며, 다양한 데이터 분포에서 일관된 성능을 보였다.
• 검색 결과에 따르면, CelebA-HQ의 초기 단계는 얼굴 대칭성과 같은 엄격한 구조적 제약으로 인해 더 큰 모델이 필요로 하는 반면, CIFAR-10과 ImageNet은 초기 단계에서 더 높은 구조적 다양성으로 인해 더 작은 모델을 사용한다.
• 데이터셋 간 최적 전략를 교환할 경우 성능 저하가 심각하게 발생한다. 예를 들어, CIFAR-10 전략을 CelebA-HQ에 적용하면 FID가 6.039에서 7.431로 상승한다. 이는 데이터셋별로 검색이 필수적임을 확인한다.
• 단계별 설계는 기존 가속 기법과 수직적(orthogonal)이며, DDIM 및 잠재 확산과 원활하게 통합되어 추가로 효율성을 향상시킬 수 있다.
• 이 방법은 고해상도 얼굴 데이터셋인 CelebA-HQ에서 세부 정보 생성이 모델 용량에 덜 민감한 반면, CIFAR-10과 ImageNet과 같은 다양한 데이터셋에서는 초기 단계에서 높은 용량이 구조 생성에 필수적임을 드러냈다.