[논문 리뷰] GAN and VAE from an Optimal Transport Point of View

Aude Genevay, Gabriel Peyré외 1명|arXiv (Cornell University)|2017. 06. 06.

Nuclear reactor physics and engineering참고 문헌 5인용 수 38

한 줄 요약

이 논문은 최적 운반 이론의 관점에서 생성적 적대 신경망(GANs)과 변분 오토인코더(VAEs)를 통합하며, 둘 다 최소 칸토로비치 추정(MKE) 문제의 해로 간주한다. WGAN과 WVAE는 동일한 최적 운반 목적함수의 이중 형태로 나타나며, WGAN은 이중 잠재변수를 통해 적대적 학습을 강조하고, WVAE는 느슨한 주변 확률 제약 조건을 통해 오토인코딩을 강조한다. 이는 두 모델 간의 학습 안정성과 생성 품질의 차이를 설명한다.

ABSTRACT

This short article revisits some of the ideas introduced in arXiv:1701.07875 and arXiv:1705.07642 in a simple setup. This sheds some lights on the connexions between Variational Autoencoders (VAE), Generative Adversarial Networks (GAN) and Minimum Kantorovitch Estimators (MKE).

연구 동기 및 목표

• 최적 운반 이론 하에서 최소 칸토로비치 추정(MKE)의 사례로 간주함으로써, GANs와 VAEs의 이론적 이해를 통합한다.
• 동일한 최적 운반 문제의 원형 및 이중 형태로써, 적대적 학습(WGAN)과 오토인코딩(WVAE) 간의 이중성 관계를 명확히 한다.
• 기울기 계산의 관점에서 원형 및 이중 형태의 차이를 통해, GANs가 더 선명한 이미지를 생성하는 등 관측된 학습 안정성과 생성 품질의 차이를 설명한다.
• VAEs에서 주변 확률 제약 조건의 유연성(매개변수화된 인코더 맵을 통한)이 WVAE 설정에서 수렴성과 편향에 미치는 영향을 분석한다.
• 모델 용량과 정규화가 균형을 이루는 비모수적 극한에서 WGAN와 WVAE가 진정한 MKE 해로 수렴하는지 이론적으로 분석한다.

제안 방법

• 생성된 분포와 표본 데이터 간의 워싱어스타인 거리 최소화를 목표로 하여, GANs와 VAEs를 최소 칸토로비치 추정기(MKE) 문제의 해로 공식화한다.
• 칸토로비치 잠재변수를 사용하여 MKE 문제의 이중 형태를 유도함으로써, WGAN 프레임워크에서 딥 네ural 네트워크를 판별기로 사용할 수 있도록 한다.
• 심층 신경망을 통해 이중 잠재변수 $ h_{ heta} $를 매개변수화함으로써 워싱어스타인-GAN(WGAN)을 제안하며, 생성자 및 판별기 매개변수에 대한 미니맥시 최적화 문제로 이어진다.
• 데이터에서 잠재 공간으로의 운반 맵을 정의하기 위해 매개변수화된 인코더 $ f_{ heta} $를 사용함으로써, 워싱어스타인-VAE(WVAE)를 제안한다.
• c-변환을 사용하여 이중 문제를 단순화하고, WGAN 설정에서 이중 잠재변수 최적화에 대한 확률적 경사하강법을 가능하게 한다.
• 잠재 공간 정규화를 포함한 다양한 훈련을 가능하게 하기 위해, WVAE에서 비균형 최적 운반 문제의 유연한, 미분 가능한 형태를 도입한다. 이는 분산 항 $ D(f_{ hetalat} u \big\bracevert \rho) $ 를 통해 이루어진다.

실험 결과

연구 질문

• RQ1 최적 운반 이론 기반으로 GANs와 VAEs를 어떻게 동일한 이론적 프레임워크에 통합할 수 있는가?
• RQ2 딥 생성 모델링의 맥락에서 최적 운반 문제의 원형(MKE) 및 이중(WGAN) 형태 간의 관계는 무엇인가?
• RQ3 왜 VAE 훈련은 GAN 훈련보다 더 안정적인가? 이는 원형 및 이중 형태에서의 기울기 계산과 어떻게 관련이 있는가?
• RQ4 WVAE에서 주변 확률 제약 조건을 완화함으로써 발생하는 영향은 무엇이며, 이는 추정기의 편향과 수렴성에 어떤 영향을 미치는가?
• RQ5 비모수적 극한에서 WGAN와 WVAE는 동일한 해로 수렴하는가? 이 수렴의 실용적 함의는 무엇인가?

주요 결과

• WGAN과 WVAE는 상호 이중 형태이다: WGAN은 적대적 잠재변수를 사용하여 이중 문제를 최적화하고, WVAE는 느슨한 주변 확률 제약 조건을 가진 원형 문제를 최적화한다.
• 원형 기울기 공식 (5)는 이중 기울기 공식 (3)보다 더 안정적이며, 이는 이중 잠재변수 $ h^lat $ 의 정확한 최적화가 필요하기 때문이다. 이는 VAEs가 GANs보다 경험적으로 더 안정적인 이유를 설명한다.
• $ \theta \to \theta_{\text{MKE}} $ 의 극한에서, WGAN 해는 $ E(\theta_{\text{WGAN}}) \triangleq W_c(g_{\theta}\flat \rho, \nu) \triangleq \text{min} $ 를 만족하지만, WVAE는 완화된 조건으로 인해 편향이 발생하여 $ E(\theta_{\text{WVAE}}) \triangleq \text{min} $ 가 되며, $ \theta_{\text{WVAE}} $ 는 편향된 추정기이다.
• 비모수적 극한(모델 용량이 무한대이고, $ \theta \to \theta_{\text{MKE}} $ 일 때)에서, WGAN과 WVAE는 모두 진정한 MKE 해로 수렴하므로 이론적으로 동일한 해를 갖는다.
• 이론적으로 수렴함에도 불구하고 실무에서는 수렴 속도가 느릴 수 있으며, 복잡한 데이터셋에서는 비모수적 극한이 좋은 추정기를 제공하지 못할 수 있다. 이는 비볼록 최적화를 통한 암묵적 정규화가 유익하다는 것을 시사한다.
• WGAN 목적함수는 워싱어스타인 거리 최소화 측면에서 MKE 목적함수보다 엄밀히 우수하며, WVAE 목적함수는 완화 항으로 인해 엄밀히 열 劣하다. 결과적으로 $ E(\theta_{\text{WGAN}}) \triangleq \text{min} \triangleq E(\theta_{\text{MKE}}) \triangleq E(\theta_{\text{WVAE}}) $ 가 성립한다.