[논문 리뷰] Restart Sampling for Improving Generative Processes

Yilun Xu, Mingyang Deng외 4명|arXiv (Cornell University)|2023. 06. 26.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

논문은 Restart 샘플링을 도입하여 큰 노이즈를 가진 순방향과 역방향 ODE를 교대로 수행함으로써 확률적 수축으로 인한 수축 효과와 낮은 이산화 오차를 결합하고, 기존의 ODE나 SDE 샘플러보다 더 빠르고 더 높은 품질의 생성 샘플링을 가능하게 한다.

ABSTRACT

Generative processes that involve solving differential equations, such as diffusion models, frequently necessitate balancing speed and quality. ODE-based samplers are fast but plateau in performance while SDE-based samplers deliver higher sample quality at the cost of increased sampling time. We attribute this difference to sampling errors: ODE-samplers involve smaller discretization errors while stochasticity in SDE contracts accumulated errors. Based on these findings, we propose a novel sampling algorithm called Restart in order to better balance discretization errors and contraction. The sampling method alternates between adding substantial noise in additional forward steps and strictly following a backward ODE. Empirically, Restart sampler surpasses previous SDE and ODE samplers in both speed and accuracy. Restart not only outperforms the previous best SDE results, but also accelerates the sampling speed by 10-fold / 2-fold on CIFAR-10 / ImageNet $64 imes 64$. In addition, it attains significantly better sample quality than ODE samplers within comparable sampling times. Moreover, Restart better balances text-image alignment/visual quality versus diversity than previous samplers in the large-scale text-to-image Stable Diffusion model pre-trained on LAION $512 imes 512$. Code is available at https://github.com/Newbeeer/diffusion_restart_sampling

연구 동기 및 목표

• 미분방정식 기반 생성 모델(Ode vs SDE 샘플링)에서 속도-품질 트레이드오프를 동기 부여한다.
• 이산화 오차와 수축이 ODE/SDE 샘플러에서 어떻게 상호작용하는지 이론적으로 분석한다.
• 성능 향상을 위해 확률적 특성과 결정적 ODE 단계를 혼합한 Restart 샘플링 알고리즘을 제안한다.
• Restart가 속도와 품질 면에서 기존 솔버를 능가하는 이론적 경계와 실증적 근거를 제시한다.

제안 방법

• ODE 및 SDE 샘플러를 특징짓고 데이터 분포와의 Wasserstein-1 거리 상한을 도출한다.
• 시간 간격 내에서 순방향 노이즈와 역방향 ODE 사이클을 반복하는 Restart 샘플링을 도입하여 초기 오차의 수축을 증폭한다.
• 각 Restart 반복에서 큰 노이즈의 순방향 스텝과 결정적인 역방향 ODE를 수행하여 확률적 성질과 드리프트를 분리한다.
• 수축과 추가 샘플링 오차의 균형을 맞추기 위해 Restart 간격과 Restart 반복 수(K) 선택에 대한 가이드를 제공한다.
• Restart가 더 작은 이산화 오차를 가능하게 하면서 확률적 수축의 이점을 얻어 빠른 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이산화 오차와 확률적 수축이 ODE 및 SDE 샘플러 전반의 샘플링 품질에 어떤 영향을 미치는가?
• RQ2 Restart 전략이 큰 순방향 노이즈와 결정적 역방향 동역학을 활용하여 ODE 및 SDE 샘플러를 능가할 수 있는가?
• RQ3 Restart의 효용성을 뒷받침하는 이론적 보장(Wasserstein 경계)은 무엇인가?
• RQ4 서로 다른 모델 및 데이터셋에 대해 Restart 간격과 K를 선택하는 실용적 가이드라인은 무엇인가?
• RQ5 Restart가 표준 벤치마크 및 대규모 텍스트-투-이미지 모델에서 속도와 품질을 개선하는가?

주요 결과

모델	NFE	FID
EDM-VP [13] ODE (Heun)	63	1.97
EDM-VP [13] ODE (Heun)	35	1.97
EDM-VP [13] Improved SDE	63	2.27
EDM-VP [13] Improved SDE	35	2.45
CIFAR-10 Restart	43	1.90
PFGM++ [28] ODE (Heun)	63	1.91
PFGM++ [28] ODE (Heun)	35	1.91
PFGM++ [28] Restart	43	1.88

• Restart는 NFEs, 데이터셋 및 사전 학습 모델 전반에서 이전의 ODE 및 SDE 샘플러를 샘플 품질과 속도 면에서 일관되게 능가한다.
• VP가 적용된 CIFAR-10에서 Restart는 유사 FID에서 이전 최고 SDE 결과보다 10배 빠르거나 2배 빠른 샘플링 속도를 달성하고, 빠른 ODE 해석기보다 우수한 성능을 보인다.
• Restart는 추가 학습 없이 UNet 아키텍처에 대해 새로운 최첨단 FID 점수를 달성한다(예: EDM으로 class-conditional ImageNet 64×64에서 1.36, PFGM++으로 unconditional CIFAR-10에서 1.88).
• Stable Diffusion의 LAION-5B에서 텍스트-이미지 정렬/시각적 품질과 다양성의 균형을 prior 샘플러보다 더 잘 수행하여 텍스트-이미지 트레이드오프를 개선한다.
• 이론적 분석은 Restart가 SDE 및 ODE보다 더 강한 수축으로 인해 더 작은 Wasserstein 상한을 가져오고, 수축은 Restart 반복 수 K에 따라 기하급수적으로 증가하는 경향이 있음을 보인다(다른 요인에 따라 달라지는 영역까지).
• 실험 결과에는 Parc Pareto 프론티어 분석이 포함되어 Restart가 추가 샘플링 오차에 대해 더 낮은 수축된 오차를 달성하고, 저-NFE 및 고-NFE 구간 모두에서 이점을 보임을 보여준다.