[논문 리뷰] From optimal transport to generative modeling: the VEGAN cookbook

Olivier Bousquet, Sylvain Gelly외 3명|arXiv (Cornell University)|2017. 05. 22.

Advanced Numerical Methods in Computational Mathematics참고 문헌 10인용 수 99

한 줄 요약

논문은 비지도 생성 모델링을 실제 데이터 분포와 잠재 변수 모델 간의 최적 운송(Optimal Transport) 문제로 재정의하고, Penalized Optimal Transport (POT) 목표를 도입하며 POT를 AAEs, VAEs, 및 WGANs와 연결한다.

ABSTRACT

We study unsupervised generative modeling in terms of the optimal transport (OT) problem between true (but unknown) data distribution $P_X$ and the latent variable model distribution $P_G$. We show that the OT problem can be equivalently written in terms of probabilistic encoders, which are constrained to match the posterior and prior distributions over the latent space. When relaxed, this constrained optimization problem leads to a penalized optimal transport (POT) objective, which can be efficiently minimized using stochastic gradient descent by sampling from $P_X$ and $P_G$. We show that POT for the 2-Wasserstein distance coincides with the objective heuristically employed in adversarial auto-encoders (AAE) (Makhzani et al., 2016), which provides the first theoretical justification for AAEs known to the authors. We also compare POT to other popular techniques like variational auto-encoders (VAE) (Kingma and Welling, 2014). Our theoretical results include (a) a better understanding of the commonly observed blurriness of images generated by VAEs, and (b) establishing duality between Wasserstein GAN (Arjovsky and Bottou, 2017) and POT for the 1-Wasserstein distance.

연구 동기 및 목표

• 비지도 생성 모델링을 위한 원칙에 입각한 OT 기반 형식을 제공한다.
• OT 커플링의 등가 잠재 공간 재파라미트라이제이션을 도출한다.
• 제약을 완화하여 Penalized Optimal Transport (POT) 목표를 얻는다.
• POT, AAEs, VAEs, AVB, 및 GAN 변형 간의 연계를 보인다.
• 학습 안정성 및 생성 샘플의 출력 선명도/블러링에 대한 함의를 논의한다.

제안 방법

• 잠재 인코더 Q(Z|X)와 생성기 P_G(Y|Z)을 통해 원시 OT 문제 W_c(P_X,P_G)을 재표현한다.
• 집계 후분포 Q_Z를 사전 분포 P_Z에 맞추는 인코더에 대한 제약 최적화를 도입한다.
• 제약을 페널티로 완화하여 POT 목표를 얻는다: D_POT = inf_Q(Z|X) E_{P_X,X} E_{Q(Z|X)}[c(X,G(Z))] + lambda D_GAN(Q_Z, P_Z).
• 제곱 유클리디안 비용 및 가우시안 디코더의 경우 POT는 Adversarial Autoencoders (AAE)와 일치하는 것을 보인다.
• 블러링 측면에서 VAE/AVB와 POT의 관계를, 1-Wasserstein 비용을 사용할 때 WGAN과의 관계를 논한다.
• 1-Wasserstein 경우의 원시/쌍대 동등성을 개요하고 그래디언트 함의를 논의한다.

실험 결과

연구 질문

• RQ1 진짜 데이터 분포와 잠재 변수 모델 간의 OT 비용을 명시적 잠재 인코더로 재구성하는 방법은 무엇인가?
• RQ2 인코더에 대한 페널티를 통해 OT 제약을 완화하는 효과는 무엇이며, 이는 기존의 생성 모델링 방법들과 어떻게 관련되는가?
• RQ3 페널티 OT 목표가 AAEs 또는 VAEs와 언제 일치하며, 샘플 품질과 학습 안정성에 어떤 함의가 있는가?
• RQ4 생성 모델링에서 1-Wasserstein 및 2-Wasserstein 비용 하의 원시 및 쌍대 형식은 어떻게 동작하는가?

주요 결과

• OT 문제는 사후 및 사전 분포에 맞추도록 제약된 확률 인코더의 관점에서 동등하게 쓸 수 있다.
• 이 제약들을 완화하면 POT 목표가 되며 P_X와 P_G에서 샘플링함으로써 SGD로 최소화할 수 있다.
• 제곱 유클리디안 비용의 경우 POT는 Adversarial Auto-Encoders (AAE)의 목표와 일치하여 AAEs가 대략적으로 W_2(P_X,P_G)를 최소화한다는 이론적 근거를 제공한다.
• POT와 WGAN은 1-Wasserstein 설정에서 유클리드 비용 하에 정렬되며, 쌍대/원시 관점은 서로 다른 학습 역학을 제공한다.
• VAEs와 AVB는 주변 로그 가능도(marginal log-likelihoods)를 최소화하고 흐릿한 출력을 낼 경향이 있는데, POT/AAE는 특정 조건에서 이러한 흐림을 피할 수 있다.
• 디코더가 가우시안일 때, AAE는 람다를 디코더 분산에 연결하여 POT 목표를 최적화하는 것과 대응된다.