[논문 리뷰] Improving Diffusion Model Efficiency Through Patching

Troy Luhman, Eric Luhman|arXiv (Cornell University)|2022. 07. 09.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 디퓨전 모델의 계산 및 메모리 비용을 줄이기 위해 ViT 스타일의 패치 기반 기법을 적용한 패치드 디퓨전 모델(Patched Diffusion Models, PDM)을 제안한다. 공간 패치를 채널 차원으로 변환함으로써 PDM은 생성 품질을 유지하면서도 추론 시간과 메모리 사용을 크게 절감하며, 특히 ImageNet 256² 및 FFHQ 1024²와 같은 고해상도 이미지에서 뛰어난 성능을 발휘한다.

ABSTRACT

Diffusion models are a powerful class of generative models that iteratively denoise samples to produce data. While many works have focused on the number of iterations in this sampling procedure, few have focused on the cost of each iteration. We find that adding a simple ViT-style patching transformation can considerably reduce a diffusion model's sampling time and memory usage. We justify our approach both through an analysis of the diffusion model objective, and through empirical experiments on LSUN Church, ImageNet 256, and FFHQ 1024. We provide implementations in Tensorflow and Pytorch.

연구 동기 및 목표

• 고해상도 이미지에 대해 특히 높은 계산 및 메모리 비용을 가지는 디퓨전 모델 추론 문제를 해결한다.
• 최적의 복원에서 블러링 현상이 발생함에 따라 대부분의 타임스텝에서 고주파 수치의 컨볼루션 레이어가 불필요하다는 점을 규명한다.
• 패치 기반 기법을 통해 공간 특징을 채널 차원으로 재구성함으로써 단순하고 즉시 적용 가능한 효율성 향상 방법을 개발한다.
• 계산 오버헤드를 줄이면서도 디퓨전 과정의 통계적 동등성을 유지한다.
• 확장 가능한 패치 기반 아키텍처를 통해 ImageNet 256²와 같은 도전적인 데이터셋에서 효율적이고 고해상도의 이미지 생성을 가능하게 한다.

제안 방법

• 공간 이미지 패치를 채널 차원으로 변환하기 위해 ViT 스타일의 패치 기반 기법을 적용하여 공간 해상도를 감소시키고 채널 수를 증가시킨다.
• 패치화된 잠재 표현을 기반으로 작동하는 디퓨전 모델을 재구성함으로써 동일한 목적 함수와 생성 과정을 유지한다.
• 학습 안정성 향상과 취약성 감소를 위해 노이즈 예측 대신 데이터 예측 헤드(x_θ)를 사용한다.
• ImageNet 256²와 같은 복잡한 데이터셋에 적합하도록 다중 파트 네트워크 분할 전략을 도입한다.
• 저수준 특징의 학습을 우선시하기 위해 손실 함수를 γₜ = √(αₜ / (1−αₜ))로 최적화한다.
• 광범위한 접근성과 재현 가능성을 확보하기 위해 텐서플로우 및 파이토치 모두에서 방법을 구현한다.

실험 결과

연구 질문

• RQ1 패치 기반 기법이 샘플 품질을 저하시키지 않으면서도 디퓨전 모델 추론의 계산 및 메모리 비용을 얼마나 줄일 수 있는가?
• RQ2 고주파 수치 컨볼루션 레이어의 부여성은 디퓨전 모델의 최적 복원에 어떤 영향을 미치는가?
• RQ3 패치 기반 환경에서 데이터 예측(x_θ)이 노이즈 예측(ε_θ)보다 학습 안정성과 샘플 정밀도 측면에서 뛰어난가?
• RQ4 패치 기반 디퓨전 모델은 ImageNet 256²와 같은 도전적인 데이터셋에서 고해상도 이미지 합성을 달성할 수 있는가?
• RQ5 패치 변환은 디퓨전 과정의 통계적 동등성과 가능도 목적 함수에 어떤 영향을 미치는가?

주요 결과

• 패치드 디퓨전 모델은 특히 FFHQ 1024² 및 ImageNet 256²와 같은 고해상도 이미지에서 추론 시간과 메모리 사용을 크게 줄였다.
• 최적의 복원 x*(zₜ,t)는 낮은 차원의 다양체 위에 위치하며 블러링된 모습을 띠며, 대부분의 타임스텝에서 고주파 성분이 덜 중요하다는 것을 시사한다.
• 디퓨전 과정에서 고주파 컨볼루션 레이어는 불필요하다. 특히 후속 타임스텝에서 최적의 복원에 기여하는 바가 미미하기 때문이다.
• 데이터 예측(x_θ)은 노이즈 예측(ε_θ)보다 취약성이 낮아 패치 기반 환경에서 더 안정적인 학습과 뛰어난 샘플 품질을 이끌어낸다.
• 제안된 방법은 분할 네트워크 아키텍처를 통해 ImageNet 256²에서 고해상도 이미지 합성을 성공적으로 달성하였으며, 복잡한 데이터셋에 대한 확장성을 입증하였다.
• 패치 적용 과정은 디퓨전 과정의 통계적 구조를 유지하며, 기존 디퓨전 모델에 즉시 통합 가능한 플러그 앤 플레이 기반 통합을 가능하게 한다.