[논문 리뷰] Generative Modeling by Estimating Gradients of the Data Distribution

Yang Song, Stefano Ermon|arXiv (Cornell University)|2019. 07. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 68인용 수 985

한 줄 요약

이 논문은 점수 매칭을 사용하여 섭동된 데이터에 대한 점수 함수를 학습하고, 어닐링 Langevin 동역학을 통해 샘플을 생성하며, 적대적 학습 없이도 경쟁력 있는 이미지 생성을 달성한다.

ABSTRACT

We introduce a new generative model where samples are produced via Langevin dynamics using gradients of the data distribution estimated with score matching. Because gradients can be ill-defined and hard to estimate when the data resides on low-dimensional manifolds, we perturb the data with different levels of Gaussian noise, and jointly estimate the corresponding scores, i.e., the vector fields of gradients of the perturbed data distribution for all noise levels. For sampling, we propose an annealed Langevin dynamics where we use gradients corresponding to gradually decreasing noise levels as the sampling process gets closer to the data manifold. Our framework allows flexible model architectures, requires no sampling during training or the use of adversarial methods, and provides a learning objective that can be used for principled model comparisons. Our models produce samples comparable to GANs on MNIST, CelebA and CIFAR-10 datasets, achieving a new state-of-the-art inception score of 8.87 on CIFAR-10. Additionally, we demonstrate that our models learn effective representations via image inpainting experiments.

연구 동기 및 목표

• 적대적 학습 및 가능도 제약을 피하는 새로운 생성 모델링 접근 방식을 제안한다.
• Gaussian 노이즈를 여러 레벨에서 데이터에 섭동하여 매니폴드 및 저밀도 샘플링 문제를 다룬다.
• 데이터의 모든 노이즈 레벨에 대해 점수를 함께 추정하는 Noise Conditional Score Network를 학습한다.
• 점점 정제된 분포에서 데이터를 샘플링하고 데이터 매니폴드에 접근하기 위해 annealed Langevin dynamics를 사용한다.

제안 방법

• 정규화된 가능도 없이 점수 매칭을 통해 섭동된 데이터 분포의 점수를 추정한다.
• 일련의 가우시안 노이즈 레벨 {sigma_i}에 대해 ∇x log q_sigma(x)를 근사하기 위해 s_theta(x, sigma)라는 단일 조건부 점수 네트워크를 학습한다.
• 여러 노이즈 레벨에서의 디노이징 점수 매칭을 가중된 목표로 결합하고, λ(sigma_i) = sigma_i^2로 기여를 균형 맞춘다.
• 큰 sigma에서 작은 sigma로 점차 노이즈 수준을 줄여 혼합성과 샘플 품질을 개선하기 위해 annealed Langevin dynamics로 샘플링한다.
• U-Net 구조와 확장된 합성곱의 확장 및 조건부 인스턴스 정규화를 사용하여 이미지 데이터를 다루는 점수 네트워크를 설계한다.
• 적대적 학습 없이도 비교할 수 있는 모델을 정량적으로 비교하는 데 사용할 수 있는 학습 목표를 제공한다.

실험 결과

연구 질문

• RQ1 점수 기반 생성 모델링이 적대적 학습이나 가능도 기반 목표 없이도 데이터 분포를 학습할 수 있는가?
• RQ2 다중 레벨의 Gaussian 노이즈로 데이터를 섭동하면 일관된 점수 추정과 효율적인 샘플링이 가능해지는가?
• RQ3 multi-noise 점수 추정에서 annealed Langevin 샘플링이 고품질 샘플을 효과적으로 생성할 수 있는가?
• RQ4 Noise Conditional Score Network(NCSN)이 표준 데이터셋에서 경쟁력 있는 이미지 샘플과 유용한 표현(예: 인페인팅)을 생성하는가?

주요 결과

• CIFAR-10 무조건적 인셉션 점수 8.87을 달성(해당 시점의 무조건적 모델 중 최상위 수준).
• CIFAR-10 FID 25.32를 달성, 상위 모델과 경쟁적(예: SNGAN).
• MNIST, CelebA, CIFAR-10에서 가능성 있는 샘플을 보여주며 가능도 기반 모델 및 GAN과 유사한 품질.
• 학습된 의미 있는 표현을 보여주는 성공적인 이미지 인페인팅을 시연.
• 다중 노이즈 점수 네트워크를 갖춘 Annealed Langevin dynamics가 표준 Langevin 샘플링보다 모드 혼합을 개선.
• 적대적 학습 없이 모델 비교를 위한 원리적 목표를 제공.