[논문 리뷰] Improved Techniques for Training Score-Based Generative Models

Yang Song, Stefano Ermon|arXiv (Cornell University)|2020. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 142

한 줄 요약

이 논문은 점수 기반 생성 모델을 고해상도 이미지로 확장하고 노이즈 스케일, 조건화, EMA를 도입하여 64×64에서 256×256 이미지에서 GAN에 필적하는 고충실도 샘플을 가능하게 한다.

ABSTRACT

Score-based generative models can produce high quality image samples comparable to GANs, without requiring adversarial optimization. However, existing training procedures are limited to images of low resolution (typically below 32x32), and can be unstable under some settings. We provide a new theoretical analysis of learning and sampling from score models in high dimensional spaces, explaining existing failure modes and motivating new solutions that generalize across datasets. To enhance stability, we also propose to maintain an exponential moving average of model weights. With these improvements, we can effortlessly scale score-based generative models to images with unprecedented resolutions ranging from 64x64 to 256x256. Our score-based models can generate high-fidelity samples that rival best-in-class GANs on various image datasets, including CelebA, FFHQ, and multiple LSUN categories.

연구 동기 및 목표

• 이전의 고해상도 이미지에서의 점수 기반 모델의 한계를 설명한다.
• 노이즈 스케일과 샘플링 매개변수를 선택하기 위한 이론적으로 기초가 있는 방법을 개발한다.
• 안정성과 샘플 품질을 높이기 위한 아키텍처 및 학습 트릭를 제시한다.
• 64×64–256×256 이미지 전반의 다양한 데이터셋에서 확장성을 입증한다.

제안 방법

• 데이터 분포로부터 가우시안 노이즈 스케일을 선택하기 위한 분석적 지침.
• 여러 노이즈 스케일에 걸쳐 하나의 네트워크로 보상되는 스코어 추정(노이즈 조건화).
• 노이즈 스케일 전반에 걸친 샘플링 성능을 최적화하기 위한 Langevin 다이나믹스의 이론적 분석.
• 샘플링 동안 모델 파라미터의 지수 이동 평균(EMA)을 통해 안정성을 향상.
• 최종 샘플 품질을 개선하기 위한 잡음 제거 단계(Tweede의 공식에서 영감을 받음).
• 위의 내용을 엔드-투-엔드 학습 및 샘플링 레시피(NCSNv2)에 통합.

실험 결과

연구 질문

• RQ1 스코어 기반 모델을 32×32에서 고해상도 이미지(64×64–256×256)로 확장하려면 어떻게 해야 하는가?
• RQ2 신뢰할 수 있는 학습과 빠르고 고품질의 샘플링을 보장하는 노이즈 스케일 구성과 조건화 방법은 무엇인가?
• RQ3 파라미터의 지수 이동 평균이 학습을 안정시키고 샘플 충실도를 향상시키는가?
• RQ4 하나의 보상 네트워크가 여러 노이즈 스케일을 효과적으로 처리할 수 있는가?
• RQ5 이 기술들을 다양한 데이터셋에 적용했을 때 표준 지표(FID/Inception)의 정량적 이득은 무엇인가?

주요 결과

• NCSNv2는 CelebA 64×64 및 LSUN/FFHQ의 128–256×256 데이터셋에서 고충실도 샘플을 달성하며 이전의 점수 기반 모델을 능가한다.
• 최적의 초기 노이즈 스케일은 학습 데이터의 최대 쌍거리만큼 크게 하는 것이 다양성을 촉진한다.
• 특정 비율의 기하급수적 노이즈 스케일 진행은 안정적인 학습과 고밀도 영역의 효과적 커버리지를 제공한다.
• 무조건적 스코어 네트워크를 1/σ로 재조정하여 노이즈 정보를 도입하면 많은 스케일에서 학습이 개선된다.
• 데이터 기반 분석을 통한 샘플링 스텝 및 스텝 크기 선택은 튜닝을 줄이고 혼합을 향상시킨다.
• 샘플링 중 모델 파라미터의 지수 이동 평균은 FID를 크게 안정시키고 아티팩트를 감소시킨다.