[논문 리뷰] Spontaneous Symmetry Breaking in Generative Diffusion Models

Gabriel Raya, Luca Ambrogioni|arXiv (Cornell University)|2023. 05. 31.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 생성 확산 모델이 초기 동역학이 중심 고정점 주변에서 안정화된 후 데이터 만행에 가까운 흡인자 역학으로 전이되는, 자발적 대칭성 붕괴를 보임을 밝혀낸다. 불안정성 임계점 근처의 가우시안 분포로 후기 초기화를 수행하는 제안된 가우시안 후기 시작(Gaussian late start, gls) 방법은 모델 아키텍처를 변경하지 않고도 샘플 품질을 최대 3배 향상시키고, 특히 빠른 샘플러에서 다양성을 높인다.

ABSTRACT

Generative diffusion models have recently emerged as a leading approach for generating high-dimensional data. In this paper, we show that the dynamics of these models exhibit a spontaneous symmetry breaking that divides the generative dynamics into two distinct phases: 1) A linear steady-state dynamics around a central fixed-point and 2) an attractor dynamics directed towards the data manifold. These two "phases" are separated by the change in stability of the central fixed-point, with the resulting window of instability being responsible for the diversity of the generated samples. Using both theoretical and empirical evidence, we show that an accurate simulation of the early dynamics does not significantly contribute to the final generation, since early fluctuations are reverted to the central fixed point. To leverage this insight, we propose a Gaussian late initialization scheme, which significantly improves model performance, achieving up to 3x FID improvements on fast samplers, while also increasing sample diversity (e.g., racial composition of generated CelebA images). Our work offers a new way to understand the generative dynamics of diffusion models that has the potential to bring about higher performance and less biased fast-samplers.

연구 동기 및 목표

• 경험적 성능을 넘어서 생성 확산 모델을 지배하는 동역학적 메커니즘을 이해하기 위해.
• 물리학에서 알려진 자발적 대칭성 붕괴가 확산 모델의 동역학에서 발생하는지 조사하기 위해.
• 초기 단계의 변동성이 최종 샘플 품질에 미치는 영향이 없는지 확인하기 위해.
• 대칭성 붕괴를 활용해 더 높은 샘플 다양성과 FID 점수를 달성하는 새로운 초기화 기법을 개발하기 위해.
• 초기 동역학이 최종 생성에 의미 있는 기여를 하지 않음을 입증함으로써, 더 빠르고 고성능의 샘플링을 가능하게 하기 위해.

제안 방법

• 저자는 확산 모델의 확률적 미분 방정식(SDE) 동역학을 분석하여 중심 고정점과 임계 불안정성 임계점이 있음을 밝혀낸다.
• SDE의 이동항과 확산항을 사용해 안정성 전이 점을 해석적으로 유도하며, 불안정성이 대칭성 붕괴를 유도함을 보여준다.
• 샘플링을 t=0이 아닌 더 늦은 시간 sstart에서 시작하는 새로운 초기화 기법인 가우시안 후기 시작(Gaussian late start, gls)을 제안한다. 이는 불안정성 임계점 근처에 위치한다.
• 이 방법은 sstart에서 중심이 된 가우시안 분포를 사용하여, 초기 변동성이 고정점으로 되돌려지는 것을 방지한다.
• 다양한 데이터셋(CelebA, CIFAR-10, ImageNet64, MNIST)과 빠른 샘플러(DDIM, DDPM)를 사용해 다양한 노이즈 단계를 적용해 검증하였다.
• 성능 향상을 평가하기 위해 FID 점수와 다양성 지표(예: 인종, 성별, 연령 분포)를 사용하였다.

실험 결과

연구 질문

• RQ1 확산 모델의 생성 동역학은 물리 시스템과 유사하게 자발적 대칭성 붕괴를 보이나?
• RQ2 초기 단계의 변동성이 최종 샘플 품질에 어떤 역할을 하는가?
• RQ3 불안정성 임계점 근처에서 역과정의 후반부에 초기화하면 빠른 샘플링 성능을 향상시킬 수 있는가?
• RQ4 후기 초기화는 특히 인구통계학적 및 속성 구성 측면에서 샘플 다양성에 어떤 영향을 미치는가?
• RQ5 중심 고정점이 불안정해지는 임계 시점을 이론적으로 특정할 수 있는가?

주요 결과

• 확산 모델의 생성 동역학은 대칭성과 고정점 안정성 단계에서 시작해 데이터 만행에 가까운 흡인자 단계로 전이되는 자발적 대칭성 붕괴를 겪는다.
• 초기 변동성은 중심 고정점으로 되돌려지므로, 최종 샘플의 다양성이나 품질에 기여하지 않는다.
• 가우시안 후기 시작(gls) 초기화 방법은 빠른 샘플러에서 FID 점수를 최대 3배 향상시키며, CelebA64에서 5단계 노이즈 제거 시 FID 점수가 44.61에서 5.24로 감소함을 확인하였다.
• MNIST에서는 sstart=400인 gls-DDIM이 5단계에서 FID 6.95를 기록했고, 표준 DDPM(sstart=800)은 13.25를 기록하였다.
• gls 방법은 인종과 성별 분포가 더 균형 잡힌 분포를 보여주며 샘플 다양성을 향상시킴을 입증하였다.
• 중앙 고정점의 불안정성 임계점은 해석적으로 유도되었으며, 다양한 데이터셋과 아키텍처에서 경험적으로도 검증되었다.