[논문 리뷰] Diffusion Probabilistic Model Made Slim

Xingyi Yang, Daquan Zhou외 2명|arXiv (Cornell University)|2022. 11. 27.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 웨이블릿 게이팅과 스펙트럼 인식 지식 정복을 통해 압축형 아키텍처에서 고주파 세부 정보 복원을 향상시키는 경량 디퓨전 모델인 스펙트럴 디퓨전(SD)을 제안한다. 역방향 노이즈 제거 과정에서 주파수 동역학을 모델링하고, 역수 가중 손실을 통해 고주파 지식을 정복함으로써, 표준 잠재 디퓨전 모델 대비 8–18배 작고 2–5배 빠른 추론 성능을 달성하면서도 품질 손실를 최소화한다.

ABSTRACT

Despite the recent visually-pleasing results achieved, the massive computational cost has been a long-standing flaw for diffusion probabilistic models (DPMs), which, in turn, greatly limits their applications on resource-limited platforms. Prior methods towards efficient DPM, however, have largely focused on accelerating the testing yet overlooked their huge complexity and sizes. In this paper, we make a dedicated attempt to lighten DPM while striving to preserve its favourable performance. We start by training a small-sized latent diffusion model (LDM) from scratch, but observe a significant fidelity drop in the synthetic images. Through a thorough assessment, we find that DPM is intrinsically biased against high-frequency generation, and learns to recover different frequency components at different time-steps. These properties make compact networks unable to represent frequency dynamics with accurate high-frequency estimation. Towards this end, we introduce a customized design for slim DPM, which we term as Spectral Diffusion (SD), for light-weight image synthesis. SD incorporates wavelet gating in its architecture to enable frequency dynamic feature extraction at every reverse steps, and conducts spectrum-aware distillation to promote high-frequency recovery by inverse weighting the objective based on spectrum magni tudes. Experimental results demonstrate that, SD achieves 8-18x computational complexity reduction as compared to the latent diffusion models on a series of conditional and unconditional image generation tasks while retaining competitive image fidelity.

연구 동기 및 목표

• 압축형 디퓨전 모델이 고주파 이미지 세부 정보를 유지하지 못하는 문제를 해결하기 위해.
• 구조적 단순화에도 불구하고 소형 디퓨전 모델이 텍스처 및 에지 복원에서 성능이 떨어지는 이유를 탐구하기 위해.
• 역방향 노이즈 제거 과정에서 주파수 역학과 편향을 명시적으로 모델링하여 압축형 모델 성능을 향상시키기 위한 방법을 개발하기 위해.
• 조건부 및 무조건적 생성 작업에서 이미지 품질을 손상시키지 않고도 모델 압축과 추론 속도 향상을 달성하기 위해.

제안 방법

• U-Net의 스킵 커넥션에 웨이블릿 게이팅을 도입하여, 각 역방향 노이즈 제거 단계에서 고주파, 저주파 및 밴드패스 주파수 성분을 동적으로 조절한다.
• 학습 가능한 게이팅 함수를 웨이블릿 변환된 특징에 적용함으로써, 파rameter 수 증가 없이도 적응형 주파수 응답을 가능하게 한다.
• 주파수 크기의 역수에 비례하는 가중치를 적용하여 고주파 성분 복원을 강조함으로써, 스펙트럼 인식 지식 정복을 구현한다.
• 사전 학습된 티처 모델을 사용하여 소형 스타디언트 모델을 훈련시키며, 손실 구성 요소를 공간 영역과 주파수 영역으로 분리하여 타겟된 최적화를 수행한다.
• 이산 푸리에 변환(DFT) 분석을 통해 생성된 이미지의 주파수 편향과 진화를 진단함으로써 설계 선택의 타당성을 검증한다.
• 웨이블릿 게이팅과 스펙트럼 인식 정복을 통합된 훈련 목표로 조합하여, 슬림 모델에서 고주파 세부 정보를 유지한다.

Figure 1 : (1) Visualizing the frequency domain gap among generated images with the full DPM [ 43 ] , Lite DPM and our SD on FFHQ [ 26 ] dataset. Lite-DPM is unable to recover fine-grained textures, while SD can produce sharp edges and realistic patterns. (2) Model size, Multiply-Add cumulation (MAC

실험 결과

연구 질문

• RQ1 왜 소형 디퓨전 모델은 텍스처나 에지와 같은 고주파 이미지 성분을 복원하지 못하는가?
• RQ2 표준 디퓨전 모델에서 역방향 노이즈 제거 단계를 거쳐가는 동안 노이즈 제거 출력의 주파수 구성은 어떻게 변화하는가?
• RQ3 노이즈 제거 과정에서의 주파수 편향이 소형 모델의 미세한 세부 정보 재구성 능력에 얼마나 큰 영향을 미치는가?
• RQ4 웨이블릿 기반 게이팅은 압축형 디퓨전 모델에서 주파수 인식 특징 표현을 향상시킬 수 있는가?
• RQ5 지식 정복 과정에서 주파수 성분을 역수로 가중함으로써 소형 모델의 고주파 세부 정보 복원 능력이 향상되는가?

주요 결과

• 스펙트럴 디퓨전은 표준 잠재 디퓨전 모델 대비 8–18배 작고 2–5배 빠른 추론 성능을 달성하면서도 경쟁적인 이미지 품질을 유지한다.
• 제거 실험 결과, 웨이블릿 게이팅을 제거하면 FFHQ에서 FID가 10.5에서 12.4로 증가하여, 이미지 세부 정보 유지에 있어 그 핵심적 역할을 입증한다.
• 스펙트럼 인식 정복은 FID를 1.8 포인트 향상시키며, 공간 영역 전용 정복보다 뚜렷이 뛰어난 성능을 보인다.
• 7760만 개의 파라미터를 가진 SD는 MS-COCO 텍스트-이미지 생성에서 FID 18.43을 달성하였으며, 기준 LDM 대비 18.7배 작다.
• 시각화 결과, SD는 털이나 건축 패턴과 같은 미세한 텍스처를 복원하는 데 성공했고, 기준 모델은 더 부드럽고 세부 정보가 떨어진 출력을 생성한다.
• 게이팅 함수 값은 노이즈 제거 단계를 거치며 변화한다: 후기 단계의 업샘플링 과정에서 고주파 성분이 강화되며, 이는 이론적 주파수 진화와 일치한다.

Figure 2 : Illustration of the Frequency Evolution and Bias for Diffusion Models. In the reverse process, the optimal filters recover low-frequency components first and add on the details at the end. The predicted score functions may be incorrect for rare patterns, thus failing to recover complex an