[논문 리뷰] Adaptive Density Estimation for Generative Models

Thomas W. Lucas, Konstantin Shmelkov외 3명|arXiv (Cornell University)|2019. 01. 04.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 고해상도 샘플 생성과 정확한 우도 추정을 동시에 가능하게 하는 하이브리드 생성 모델인 적응형 변동 밀도 추정(ADAPTIVE VARIATIONAL DENSITY ESTIMATION, AV-ADE)을 제안한다. 이 모델은 이미지를 잠재 특징 공간으로 매핑하기 위해 역행성 신경망을 사용하며, 이로 인해 적대적 훈련을 통한 고해상도 샘플 생성과 최대우도 기반 정확한 우도 추정이 가능해진다. 이 방법은 순수하게 적대적 모델과 비교해도 우수한 FID 및 IS 점수를 달성하면서도 보존된 데이터에 대해 높은 우도를 유지하여 생성 모델에서의 샘플 품질과 분포 커버리지 사이의 상충관계를 효과적으로 해결한다.

ABSTRACT

Unsupervised learning of generative models has seen tremendous progress over recent years, in particular due to generative adversarial networks (GANs), variational autoencoders, and flow-based models. GANs have dramatically improved sample quality, but suffer from two drawbacks: (i) they mode-drop, i.e., do not cover the full support of the train data, and (ii) they do not allow for likelihood evaluations on held-out data. In contrast, likelihood-based training encourages models to cover the full support of the train data, but yields poorer samples. These mutual shortcomings can in principle be addressed by training generative latent variable models in a hybrid adversarial-likelihood manner. However, we show that commonly made parametric assumptions create a conflict between them, making successful hybrid models non trivial. As a solution, we propose to use deep invertible transformations in the latent variable decoder. This approach allows for likelihood computations in image space, is more efficient than fully invertible models, and can take full advantage of adversarial training. We show that our model significantly improves over existing hybrid models: offering GAN-like samples, IS and FID scores that are competitive with fully adversarial models, and improved likelihood scores.

연구 동기 및 목표

• 생성 모델에서 샘플 품질과 분포 커버리지 사이의 근본적 상충관계를 해결하기 위해.
• 모드 붕괴와 우도 평가 불가능성 등의 제약을 겪는 GAN의 한계를 극복하면서도, 우도 기반 모델의 열악한 샘플 품질을 피하기 위해.
• 이미지 데이터에서 고품질 샘플 생성과 정확한 우도 계산을 동시에 가능하게 하는 하이브리드 모델을 설계하기 위해.
• VAE 스타일 디코더의 일반적인 파rametric 가정을 완화시켜 적대적 목적과 우도 목적 간의 충돌을 해결하기 위해.
• 잠재 공간 내에서의 역행성 비선형 매핑이 효율적인 샘플링과 완전한 지지 집합 커버리지 모두를 지원하는 적응형 밀도 추정을 가능하게 함을 보여주기 위해.

제안 방법

• 모델은 이미지 $ x $ 를 잠재 특징 공간으로 매핑하는 학습 가능한 비선형 역행성 변환 $ f_{\psi} $ 를 사용하여 이미지 공간에서 정확한 우도 계산을 가능하게 한다.
• 디코더는 $ z = f_{\psi}(x) $ 를 기반으로 변동 추론을 통해 잠재 공간에서 조건부 밀도 $ p_{\theta}(x|z) $ 를 학습하며, 이로 인해 가우시안 또는 독립성 가정 없이도 전체 공분산 구조를 구현할 수 있다.
• 모델은 잠재 공간에서 최대우도 기반 훈련을 통해 완전한 지지 집합 커버리지 확보와 동시에 이미지 공간에서의 적대적 훈련을 통해 샘플 품질 향상을 동시에 수행한다.
• 역행성 매핑 $ f_{\psi} $ 는 생성 모델과 함께 종단 간(end-to-end)으로 훈련되어 효율적인 피드포워드 샘플링과 정확한 우도 평가를 가능하게 한다.
• 아키텍처는 넓은 생성기와 $ f_{\psi} $ 내의 잔차 블록을 사용하며, 정규화 플로우나 순차적 모델링이 필요로 하지 않는다.
• 인과적 가정(예: 인과적 또는 가우시안 조건부 밀도)을 피함으로써 데이터 분포의 복잡성에 맞는 적응형 밀도 추정이 가능해진다.

실험 결과

연구 질문

• RQ1 하이브리드 생성 모델이 분포 커버리지 손실 없이 고해상도 샘플과 정확한 우도 평가를 동시에 달성할 수 있는가?
• RQ2 특히 독립성 또는 가우시안성과 같은 $ p(x|z) $ 에 대한 파rametric 가정을 완화시키면, 적대적 목적과 우도 목적 간의 보다 우수한 일치가 달성되는가?
• RQ3 잠재 공간 내에서의 역행성 변환은 효율적이고 고품질의 샘플링과 함께 정확한 우도 계산도 지원할 수 있는가?
• RQ4 제안된 방법은 기존 하이브리드 모델 대비 표준 벤치마크에서 샘플 품질(IS/FID)과 우도(BPD) 측면에서 모두 슈퍼리어한 성능을 보이는가?
• RQ5 모델은 CIFAR-10, STL-10, ImageNet, LSUN 등 다양한 데이터셋에서 광범위한 초모수 조정 없이 일반화 가능한가?

주요 결과

• CIFAR-10에서 AV-ADE는 인ception 스코어 8.2와 FID 17.2를 기록하여, WGAN-GP나 SNGAN과 같은 순수 적대적 모델과 비교해도 동등하거나 뛰어난 성능을 보였다.
• CIFAR-10에서 AV-ADE는 3.7 BPD의 우도를 기록하여, Real-NVP(3.5 BPD)와 Glow(3.4 BPD)와 같은 최신 우도 기반 모델과 유사한 성능을 달성했다.
• STL-10에서 AV-ADE는 IS 9.4와 FID 44.3을 기록하여 SNGAN(SNGAN: IS 9.1, FID 40.1)을 초월했으며, 강력한 우도 성능(BPD: 4.0–4.4)도 유지했다.
• ImageNet에서 AV-ADE는 IS 8.5와 FID 45.5를 기록했으며, MMD-GAN은 순수하게 적대적 모델이지만 우도 평가가 불가능한 반면, AV-ADE는 MMD-GAN과 동일한 FID 성능를 기록하면서도 더 높은 우도 성능를 확보했다.
• LSUN 교회 데이터셋에서 AV-ADE는 Glow와 Real-NVP보다 더 매력적인 샘플을 생성했으며, FID 13.1과 BPD 4.3을 기록했다. 이는 500+ 층을 사용한 기존 모델 대비 층 수가 훨씬 적은 7층임에도 불구하고 성능을 뛰어넘었다.
• 제거 실험 결과, 역행성 매핑 $ f_{\psi} $ 가 필수적임을 확인했다: 이를 제거할 경우 우도와 샘플 품질 모두가 심각하게 떨어졌다.