[논문 리뷰] From Variational to Deterministic Autoencoders

Partha Ghosh, Mehdi S. M. Sajjadi외 3명|arXiv (Cornell University)|2019. 03. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 54인용 수 106

한 줄 요약

RAE는 확률적 인코딩을 명시적 디코더 규제화로 대체하고, 이미지와 분자 같은 구조화된 데이터에서 샘플링 품질을 개선하기 위한 사후 밀도 추정 단계를 더해 VAE에 대한 결정론적 대안을 제공합니다.

ABSTRACT

Variational Autoencoders (VAEs) provide a theoretically-backed and popular framework for deep generative models. However, learning a VAE from data poses still unanswered theoretical questions and considerable practical challenges. In this work, we propose an alternative framework for generative modeling that is simpler, easier to train, and deterministic, yet has many of the advantages of VAEs. We observe that sampling a stochastic encoder in a Gaussian VAE can be interpreted as simply injecting noise into the input of a deterministic decoder. We investigate how substituting this kind of stochasticity, with other explicit and implicit regularization schemes, can lead to an equally smooth and meaningful latent space without forcing it to conform to an arbitrarily chosen prior. To retrieve a generative mechanism to sample new data, we introduce an ex-post density estimation step that can be readily applied also to existing VAEs, improving their sample quality. We show, in a rigorous empirical study, that the proposed regularized deterministic autoencoders are able to generate samples that are comparable to, or better than, those of VAEs and more powerful alternatives when applied to images as well as to structured data such as molecules. \footnote{An implementation is available at: \url{https://github.com/ParthaEth/Regularized_autoencoders-RAE-}}

연구 동기 및 목표

• 생성 모델링과 잠재 공간 규제에 대한 변분 프레임워크의 필요성을 의심한다.
• KL 기반 VAE 목표를 대체할 명시적 규제자를 가진 결정론적 오토인코더(RAE)를 제안한다.
• 다른 규제자들이 잠재 공간 구조와 샘플 품질에 어떤 영향을 미치는지 조사한다.
• 고정된 잠재 선형을 강요하지 않는 샘플링을 가능하게 하는 사후 밀도 추정 단계를 도입한다.
• RAEs를 이미지 데이터셋과 분자 같은 구조화된 도메인에서 시연하여 VAE와 WAE와의 비교를 수행한다.

제안 방법

• VAE를 디터미니스틱 오토인코더로 재해석하고 디코더 입력에 가우시안 노이즈를 재매개화 트릭으로 추가한다.
• Regularized Autoencoder 손실 LRAE = LREC + (1/2)||z||^2 + βLREG를 정의하고, LREG를 명시적 디코더 규제(L2에 대한 θ, 그래디언트 페널티, 스펙트럴 노멀라이제이션 등)로 설정한다.
• 다양한 규제자를 탐색한다: 디코더 매개변수에 대한 L2(RAE-L2), GP(그래디언트 페널티), SN(스펙트럴 노멀라이제이션).
• 선택적으로 LRAE_Z를 생략하고 LREG만으로 디코더를 규제하여 완전히 결정론적 학습 신호를 가능하게 한다.
• 학습된 잠재 코드에 대해 사후 밀도 추정 qδ(z)를 적용하여 고정된 사전 Prior를 강요하지 않고 생성 메커니즘을 복원한다.
• Fréchet Inception Distance(FID), 재구성, 보간을 MNIST, CIFAR, CelebA에서 평가하고, 구조화된 데이터(분자, 표현식)에 대해 GrammarRAE로 확장한다.

실험 결과

연구 질문

• RQ1 명시적 디코더 규제화를 갖춘 결정론적 오토인코더가 VAE/WAEs의 샘플 품질에 비슷하거나 더 나은 결과를 낼 수 있는가?
• RQ2 KL 항과 잠재 사전이를 제거하면 샘플링이 저해될 수 있는가, 그리고 사후 밀도 추정이 유 usable한 생성 메커니즘을 회복할 수 있는가?
• RQ3 어떤 규제 방식(L2, 그래디언트 페널티, 스펙트럴 노멀라이제이션)이 잠재 공간을 가장 효과적으로 형성하는가?
• RQ4 사후 밀도 추정이 VAEs, WAEs, RAEs 전반에서 샘플 품질 개선에 이로운가?
• RQ5 RAEs가 분자 및 문법 제약 표현식과 같은 구조화된 데이터 도메인에 잘 확장되는가?

주요 결과

• RAEs는 MNIST, CIFAR, CelebA에서 10성분 GMM 사후 밀도 추정을 추가할 때 VAE, WAE 및 2sVAE보다 경쟁력 있거나 더 나은 FID 점수를 달성한다.
• 다른 RAEs(GP, L2, SN)는 데이터셋 간에 비슷하게 작동하며 단일 우승자는 없고 구현 편의성 측면에서 더 간단한 L2 변형이 선호된다.
• 사후 밀도 추정은 VAEs, WAEs, RAEs 전반에서 샘플 품질을 지속적으로 개선하고 FID를 눈에 띄게 감소시킨다(예: MNIST와 CelebA에서 10성분 GMM 사용 시).
• 암묵적으로 규제된 RAEs 및 GMM으로 적합된 qδ(z)를 가진 일반 AE도 강력한 FID 감소를 달성할 수 있다(예: MNIST에서 58.73에서 10.66으로).
• RAEs는 강한 잠재 공간 보간 및 선명한 샘플을 보여주며, 분자와 같은 구조화된 데이터에도 효과적으로 확장되어 GrammarRAE 실험에서 CVAEs 및 GVAE보다 더 높은 타당도와 점수를 달성한다.