[논문 리뷰] Score-based Generative Modeling in Latent Space

Arash Vahdat, Karsten Kreis외 1명|arXiv (Cornell University)|2021. 06. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 97인용 수 12

한 줄 요약

이 논문은 표본 품질 향상, 추론 복잡도 감소, 이산 데이터에의 적용 가능성을 높이기 위해 변분 오토에인드코더(VAE)의 잠재공간에서 스코어 기반 생성 모델을 훈련하는 잠재 스코어 기반 생성 모델(LSGM)을 제안한다. 더 낮은 차원이면서 더 매끄러운 잠재공간에서 스코어 함수를 학습함으로써, LSGM은 CIFAR-10에서 FID 2.10의 최고 성능을 기록하고, 이전의 SGM들과 비교해 CelebA-HQ-256에서 추론 시간을 100배 빠르게 한다.

ABSTRACT

Score-based generative models (SGMs) have recently demonstrated impressive results in terms of both sample quality and distribution coverage. However, they are usually applied directly in data space and often require thousands of network evaluations for sampling. Here, we propose the Latent Score-based Generative Model (LSGM), a novel approach that trains SGMs in a latent space, relying on the variational autoencoder framework. Moving from data to latent space allows us to train more expressive generative models, apply SGMs to non-continuous data, and learn smoother SGMs in a smaller space, resulting in fewer network evaluations and faster sampling. To enable training LSGMs end-to-end in a scalable and stable manner, we (i) introduce a new score-matching objective suitable to the LSGM setting, (ii) propose a novel parameterization of the score function that allows SGM to focus on the mismatch of the target distribution with respect to a simple Normal one, and (iii) analytically derive multiple techniques for variance reduction of the training objective. LSGM obtains a state-of-the-art FID score of 2.10 on CIFAR-10, outperforming all existing generative results on this dataset. On CelebA-HQ-256, LSGM is on a par with previous SGMs in sample quality while outperforming them in sampling time by two orders of magnitude. In modeling binary images, LSGM achieves state-of-the-art likelihood on the binarized OMNIGLOT dataset. Our project page and code can be found at https://nvlabs.github.io/LSGM .

연구 동기 및 목표

• 복잡한 ODE/SDE 통합으로 인해 샘플링에 수천 번의 네트워크 평가가 필요한 스코어 기반 생성 모델(SGM)의 높은 계산 비용을 해결한다.
• SGM이 연속형 데이터에 국한되어 있다는 한계를 극복하기 위해 이산형 및 비연속형 데이터 분포에의 적용을 가능하게 한다.
• VAE 프레임워크를 활용해 더 구조적이고 매끄러운 잠재공간을 학습함으로써 표현력 향상과 훈련 안정성 향상을 도모한다.
• 새로운 스코어 매칭 목표함수와 분산 감소 기법을 도입해 VAE와 SGM 사전모델을 종합적으로 훈련할 수 있도록 한다.
• 집합 사후분포와 표준 정규 사전분포 간의 불일치만을 모델링하도록 SGM에 집중시킴으로써 더 빠른 추론과 더 나은 표본 품질을 달성한다.

제안 방법

• 표준 정규 사전분포를 갖는 VAE를 훈련시켜 데이터를 더 낮은 차원의 잠재공간으로 매핑하며, 여기서 집합 사후분포가 사전분포에 가까워지도록 한다.
• VAE와 잠재 SGM 사전분포를 종합적으로 최적화할 수 있도록 새로운 노이즈 제거 스코어 매칭 목표함수를 도입한다.
• 표준 정규 분포와 학습 가능한 SGM을 혼합한 방식으로 스코어 함수를 새로운 방식으로 매개변수화하여, 잔여 분포 불일치만을 모델링하도록 한다.
• 훈련 목표함수에 분석적 분산 감소 기법을 적용하여 훈련 안정성과 수렴 속도를 향상시킨다.
• 확률 흐름 ODE 또는 선조 추출을 사용해 잠재공간에서 표본을 생성한 후, VAE 디코더를 통해 데이터 공간으로 복원한다.
• 이산형 데이터(예: 이진화된 OMNIGLOT)에의 적용을 가능하게 하기 위해 이산 분포를 직접 모델링하지 않고도 연속형 잠재공간에서 SGM을 훈련시킨다.

실험 결과

연구 질문

• RQ1 VAE가 학습한 잠재공간에서 스코어 기반 생성 모델을 훈련시킬 경우, 추론 복잡도를 줄이면서도 표본 품질을 유지하거나 향상시킬 수 있는가?
• RQ2 집합 사후분포와 표준 정규 사전분포 간의 분포 불일치만을 모델링하는 것이 표현력과 훈련 효율성에 어떤 영향을 미치는가?
• RQ3 LSGM은 CIFAR-10과 CelebA-HQ-256와 같은 벤치마크 데이터셋에서 FID 점수와 추론 속도 측면에서 최고 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 이진 이미지와 같은 비연속형 데이터의 효과적인 생성 모델링을 가능하게 하는가?
• RQ5 ODE 솔버 정밀도 허용오차와 선조 추출 방식의 선택이 잠재공간 내 표본 품질과 재구성 정밀도에 어떤 영향을 미치는가?

주요 결과

• LSGM은 CIFAR-10에서 이전의 모든 생성 모델을 능가하는 최고 수준의 FID 점수 2.10을 기록한다.
• CelebA-HQ-256에서 LSGM은 이전의 SGM들과 비교해 추론 시간을 두 자리 수 감소시켜 약 39초에서 약 0.3초로 단축시켰으며, 표본 품질은 유사하게 유지한다.
• 이진화된 OMNIGLOT 데이터셋에서 LSGM은 최고 수준의 우도 점수를 확보하여 잠재공간에서의 SGM을 통해 이산형 데이터를 효과적으로 모델링할 수 있음을 보여준다.
• 더 높은 ODE 솔버 정밀도 허용오차(10^-2)는 저주파수 아티팩트를 유발하지만, 낮은 허용오차(10^-5)는 세부 정보를 향상시켜 수치 정밀도에 민감함을 시사한다.
• 사전분포에서의 선조 추출은 확률 흐름 ODE 추출보다 더 높은 시각적 품질을 제공하지만, FID 점수는 약간 떨어지므로 정밀도와 다양성 사이의 상충관계가 있음을 시사한다.
• 32×32의 잠재공간 차원은 64×64보다 더 빠른 추론(2.7초)과 더 나은 FID 점수(7.22)를 기록하며, 품질을 손상시키지 않고도 더 효율적임을 보여준다.