[논문 리뷰] Semi-Amortized Variational Autoencoders

Yoon Kim, Sam Wiseman외 3명|arXiv (Cornell University)|2018. 02. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 57인용 수 33

한 줄 요약

이 논문은 반-보상화된 변분 오토인코더(SA-VAE)를 제안하며, 보상화된 추론과 미분 가능한 확률적 변분 추론을 조합하여 국소적으로 변분 매개수를 개선한다. 반복 최적화를 통해 역전파를 수행함으로써, 이론적 간격을 줄이고 후행 분포 붕괴를 방지하는 엔드 투 엔드 학습이 가능해지며, 표준 VAE 및 순차적 기반 기준 모델 대비 텍스트 및 이미지 생성 작업에서 성능이 크게 향상된다.

ABSTRACT

Amortized variational inference (AVI) replaces instance-specific local inference with a global inference network. While AVI has enabled efficient training of deep generative models such as variational autoencoders (VAE), recent empirical work suggests that inference networks can produce suboptimal variational parameters. We propose a hybrid approach, to use AVI to initialize the variational parameters and run stochastic variational inference (SVI) to refine them. Crucially, the local SVI procedure is itself differentiable, so the inference network and generative model can be trained end-to-end with gradient-based optimization. This semi-amortized approach enables the use of rich generative models without experiencing the posterior-collapse phenomenon common in training VAEs for problems like text generation. Experiments show this approach outperforms strong autoregressive and variational baselines on standard text and image datasets.

연구 동기 및 목표

• 고정된 추론 네트워크가 최적의 변분 매개수를 도출하지 못하는 변분 오토인코더의 보상 간격 문제를 해결하기 위해.
• 특히 텍스트 생성에서 모델이 잠재 코드를 무시하는 경우가 많은 VAE의 후행 분포 붕괴 문제를 극복하기 위해.
• 국소적 변분 추론을 미분 가능하게 하여 딥 생성 모델의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 강한 조건부 독립성 가정에 의존하지 않고 이미지 및 텍스트 데이터셋에서 샘플 품질과 로그우도를 향상시키기 위해.
• 이 하이브리드 접근법을 통해 강력한 순차적 기반 생성 모델이 의미 있는 잠재 표현을 갖는 방식으로 효과적으로 학습될 수 있는지 보여주기 위해.

제안 방법

• 보상화된 변분 추론 방식과 유사하게, 추론 네트워크를 사용해 각 데이터 포인트에 대한 변분 매개수를 초기화한다.
• 미분 가능한 확률적 변분 추론(SVI)을 적용하여 기존의 초기 매개수를 기반으로 기울기 기반 최적화를 통해 개선한다.
• 전체 SVI 과정을 통해 역전파를 수행하여 추론 네트워크와 생성 모델을 함께 엔드 투 엔드로 학습시킨다.
• 반복적인 개선 단계를 미분할 수 있도록 기울기 업데이트를 사용해 증거 하한 경계(ELBO)를 최적화한다.
• 국소적 개선 과정이 모델 매개수에 대해 미분 가능하도록 하기 위해, 미분 가능한 최적화 기법을 활용한다.
• 학습과 테스트 시점의 추론 간 일관성을 확보하기 위해, 최종 개선 후 ELBO를 단일 목적 함수로 사용해 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 미분 가능한 국소적 변분 매개수 개선이 VAE에서 잠재 표현의 품질을 향상시킬 수 있는가?
• RQ2 보상화된 초기화와 반복적 개선을 조합함으로써, 학습 효율성을 해치지 않으면서 VAE의 보상 간격을 줄일 수 있는가?
• RQ3 이 방법은 텍스트와 같은 순차적 데이터에서 학습된 VAE에서 후행 분포 붕괴를 방지할 수 있는가?
• RQ4 이 방법은 이미지 및 텍스트 생성 작업에서 강력한 순차적 기반 모델 및 표준 VAE 대비 성능이 어떻게 비교되는가?
• RQ5 이 방법을 통해 강력한 순차적 기반 생성 모델이 의미 있는 잠재 표현을 갖는 방식으로 효과적으로 학습될 수 있는가?

주요 결과

• 제안된 반-보상화된 VAE는 표준 텍스트 및 이미지 데이터셋에서 로그우도와 샘플 품질 측면에서 강력한 순차적 기반 및 변분 기반 기준 모델을 능가한다.
• 이 방법은 텍스트로 학습된 VAE에서 후행 분포 붕괴를 성공적으로 방지하여, LSTM 기반 생성 모델이 의미 있는 잠재 표현을 유지할 수 있도록 한다.
• SVI를 통해 역전파를 수행하는 엔드 투 엔드 학습은 추론과 생성에 별도의 목적 함수를 사용하는 방법보다 더 나은 생성 모델을 도출한다.
• 이 접근법은 일반 VAE에서 흔히 나타나는 성능 저하 없이도 풍부하고 표현력 있는 생성 모델을 사용할 수 있도록 한다.
• 실험 결과, 엔드 투 엔드 최적화가 적용되지 않은 경우, VAE와 SVI를 직접 조합한 기준 모델 대비 SA-VAE가 경쟁력 있거나 더 뛰어난 성능을 기록한다.