[논문 리뷰] Towards Deeper Understanding of Variational Autoencoding Models

Shengjia Zhao, Jiaming Song외 1명|arXiv (Cornell University)|2017. 02. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 129

한 줄 요약

논문은 ELBO를 넘어선 일반적인 VAE 최적화 프레임워크를 제시하고, 흐릿한 샘플과 정보가 부족한 잠재 코드를 비롯한 일반적인 문제들을 설명하며, 샘플 선명도와 잠재 코드 활용을 개선하기 위한 순차 VAE와 정보 인식 학습을 제안합니다.

ABSTRACT

We propose a new family of optimization criteria for variational auto-encoding models, generalizing the standard evidence lower bound. We provide conditions under which they recover the data distribution and learn latent features, and formally show that common issues such as blurry samples and uninformative latent features arise when these conditions are not met. Based on these new insights, we propose a new sequential VAE model that can generate sharp samples on the LSUN image dataset based on pixel-wise reconstruction loss, and propose an optimization criterion that encourages unsupervised learning of informative latent features.

연구 동기 및 목표

• 표준 ELBO를 넘어서는 변분 자동인코딩 모델에 대한 새로운 일반 최적화 기준을 제공한다.
• 복잡한 데이터에서 VAE가 흐릿한 샘플 및 비정보적 잠재 특징으로 어려움을 겪는 이유를 설명한다.
• 이 문제를 완화하기 위한 방법들을 소개하고, 순차 VAE 및 정보 기반 정규화를 포함한다.
• 더 표현력이 높은 추론/포스트리에를 활용하고 적절한 정규화를 적용하면 샘플의 선명도와 의미 있는 잠재 특징을 얻을 수 있음을 보여준다.

제안 방법

• 잠재 코드를 분포 매개변수로 매핑하는 f_theta를 포함한 일반 p_theta(x|z)를 도출하고, 반드시 엄격한 ELBO가 아닐 수 있는 손실 L을 최적화한다.
• 단순한 P가 모든 데이터에 맞춰지는 진부한 해를 피하기 위해 L = E_q(z)[E_q(x|z)[log p_theta(x|z)]]인 판별적 목표를 제안한다.
• 충분한 용량이 있을 때, 모델이 q_phi(z|x)를 학습하여 P_{f_theta(z)}가 각 z에 대해 q(x|z)에 근사하도록 한다.
• 정규화된 VAE L_VAE = E_{q_phi(x,z)}[log p_theta(x|z)] - R(q_phi)를 도입하고 R을 ELBO와의 관계에서 KL 발산 항에 해당하는 경우로 해석한다.
• 순차 VAE와 주입 학습(infusion-training) 영감을 받은 증강을 도입하여 점진적으로 포스트리에르 q(x|z)를 단순화하고 더 선명한 샘플을 생성한다.
• 정규화되지 않은 VAE는 정보가 풍부한 잠재 특징을 유지할 수 있는 반면, ELBO는 이를 억제하는 경향이 있으며, 복잡한 포스트리에르를 순차적 증강으로 더 잘 다룰 수 있음을 보인다.

실험 결과

연구 질문

• RQ1 적절한 조건에서 전통적인 ELBO에 의존하지 않고 일반적인 VAE 최적화 프레임워크가 데이터 분포를 재현할 수 있는가?
• RQ2 왜 VAE가 흐릿한 샘플을 생성하고 잠재 코드가 종종 무시되는가, 그리고 이러한 문제를 완화하기 위해 어떤 학습 설계를 할 수 있는가?
• RQ3 LSUN과 같은 복잡한 데이터셋에서 더 표현력이 높은 추론/포스트리에를 활용하고 순차적 증강을 통해 선명한 샘플을 달성할 수 있는가?
• RQ4 정규화된 학습과 비정규화된 학습이 잠재 코드 활용도와 샘플 품질에 어떤 조건에서 어떤 영향을 미치는가?
• RQ5 p(x|z)의 가족인 P의 선택이 포스트리에르 q(x|z)와 샘플 충실도에 어떤 역할을 하는가?

주요 결과

• 일반화된 VAE 프레임워크는 z마다 q(x|z)를 다르게 하는 판별적 목표를 사용하여 더 풍부한 포스트리에르를 활용할 수 있도록 데이터 분포를 학습할 수 있다.
• 포스트리에르 q(x|z)가 단순한 P에 비해 너무 복잡할 때 흐릿한 샘플이 생기는데, 순차 VAE 또는 infusion-에서 영감을 받은 증강은 포스트리에르 분산을 감소시켜 더 선명한 샘플을 생성한다.
• ELBO 기반 학습은 잠재 정보가 0으로 수렴하게 할 수 있으며, 비정규화 학습은 x와 z 사이의 상호 정보(mutual information)를 보존하여 정보가 풍부한 잠재 코드를 유지한다.
• 2-노름 픽셀 손실을 사용한 순차 VAE는 점진적으로 더 풍부해지는 추론 및 재구성 단계를 통해 LSUN에서 샘플의 선명도를 향상시킨다.
• P가 복잡한 경우(PixelCNN 등), ELBO는 여전히 잠재 코드 무시를 초래할 수 있으며, 엄격한 정규화를 제거하면 잠재 정보는 유지되면서도 샘플 품질이 경쟁력 있게 나타난다.
• 이 프레임워크는 일반적인 VAE 병리학을 진단하고 완화하는 체계적 방법을 제공하며, 정보가 풍부한 잠재 특징을 유지하는 학습 스킴을 설계하는데 기여한다.