[논문 리뷰] Variational Laplace Autoencoders

Yookoon S. Park, Chris Dongjoo Kim외 1명|arXiv (Cornell University)|2022. 11. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 12

한 줄 요약

이 논문은 변분 추론에서의 정확도를 향상시키기 위해 반복적 라플라스 근사법을 사용하는 새로운 딥 생성 모델인 변분 라플라스 autoencoder(VLAE)를 제안한다. 공액 그래디언트 최적화와 정교한 가중치 초기화를 통해 VLAE는 재구성 품질을 향상시키고, 특히 CIFAR10과 같은 복잡한 데이터셋에서 잠재 변수 붕괴를 완화한다.

ABSTRACT

Variational autoencoders employ an amortized inference model to approximate the posterior of latent variables. However, such amortized variational inference faces two challenges: (1) the limited posterior expressiveness of fully-factorized Gaussian assumption and (2) the amortization error of the inference model. We present a novel approach that addresses both challenges. First, we focus on ReLU networks with Gaussian output and illustrate their connection to probabilistic PCA. Building on this observation, we derive an iterative algorithm that finds the mode of the posterior and apply full-covariance Gaussian posterior approximation centered on the mode. Subsequently, we present a general framework named Variational Laplace Autoencoders (VLAEs) for training deep generative models. Based on the Laplace approximation of the latent variable posterior, VLAEs enhance the expressiveness of the posterior while reducing the amortization error. Empirical results on MNIST, Omniglot, Fashion-MNIST, SVHN and CIFAR10 show that the proposed approach significantly outperforms other recent amortized or iterative methods on the ReLU networks.

연구 동기 및 목표

• 반복 최적화를 통해 후행 추정을 개선하여 표준 VAE에서 발생하는 '암시적 갭'과 '근사 갭'을 해소한다.
• 특히 더 깊거나 복잡한 아키텍처에서 흔히 발생하는 잠재 변수 붕괴라는 일반적인 학습 실패 현상을 줄인다.
• 적절한 초기화와 정규화를 통해 기울기 흐름을 안정화시켜 생성 품질을 향상시킨다.
• 변분 추론에서 반복 업데이트 규칙의 스케일러블한 대안으로서 공액 그래디언트 방법의 효용성을 평가한다.
• 다양한 데이터셋, 특히 MNIST, Omniglot, SVHN, CIFAR10에서 하이퍼파rameter 설정에 대한 강건성과 향상된 성능을 입증한다.

제안 방법

• T단계 동안 반복적으로 라플라스 근사를 사용하여 근사 후행분포 $q_{\bm{\phi}}(\bm{z}|\bm{x})$ 를 개선하는 반복 최적화 기반 기법을 제안한다.
• 학습률 $\alpha_t = 0.5/(t+1)$ 를 사용하는 기울기 업데이트 규칙 $\bm{\lambda}_{t+1} = \bm{\lambda}_t + \alpha_t \frac{\partial}{\partial \bm{\lambda}} \mathcal{L}_{\bm{\theta}}(\bm{x}; \bm{\lambda}_t)$ 을 적용하여 변분 매개수를 개선한다.
• VLAE+CG에서는 반복 업데이트를 비선형 공액 그래디언트 (Polak-Ribiére) 상승법으로 대체하여 수렴 속도를 향상시키고 성능은 유사하게 유지한다.
• 백프로파게이션 중 기울기 분산을 유지하고 후행 붕괴를 방지하기 위해 He의 초기화를 $2^{1/3}$의 게인 값으로 적용한다.
• 초기 재구성 손실이 약 1이 되도록 입력 정규화를 적용하여 초기 학습 동역학을 안정화시킨다.
• 학습률 0.0005, 배치 크기 128로 ADAM 최적화기를 사용하며, 검증 손실 기반 조기 정지 전략을 적용해 최대 2000 에포크까지 학습한다.

실험 결과

연구 질문

• RQ1 반복적 라플라스 근사법이 VAE의 후행 추정을 향상시키고 근사 갭을 줄일 수 있는가?
• RQ2 VLAE에서 공액 그래디언트 최적화는 표준 반복 업데이트에 비해 속도와 성능 측면에서 어떻게 비교되는가?
• RQ3 적절한 가중치 초기화와 정규화가 깊은 VAE에서 잠재 변수 붕괴를 어느 정도 억제할 수 있는가?
• RQ4 CIFAR10과 같은 복잡한 데이터셋에서 VLAE는 표준 VAE 및 기타 기준 모델에 비해 어떻게 성능을 내는가?
• RQ5 기울기 분산 유지가 VAE 학습의 안정성과 성능에 미치는 영향은 어떠한가?

주요 결과

• VLAE+CG는 표준 VLAE 대비 약 25% 더 빠른 학습 속도를 기록했고, MNIST에서 성능 저하가 약 1% 이내로 유지되었다.
• VLAE와 VAE+IAF는 SA-VAE에 비해 하이퍼파ram터 설정에 더 강건한 편이었으며, 학습률과 초기화에 민감하지 않았다.
• 적절한 초기화 (He의 초기화, 게인 $2^{1/3}$)와 입력 정규화는 특히 더 깊은 모델에서 잠재 변수 붕괴를 크게 감소시켰다.
• MNIST, 패션-MNIST, Omniglot, SVHN, CIFAR10 등 모든 데이터셋에서 VLAE의 재구성 결과물은 선명했다.
• CIFAR10과 같은 복잡한 데이터셋에서는 생성 샘플이 여전히 흐릿한 편이었으며, 이는 컨볼루션 아키텍처의 도입이 추가로 생성 품질 향상에 기여할 수 있음을 시사한다.
• 잠재 붕괴 방지를 위해 핵심적인 재구성 기울기 값이 적절한 초기화를 통해 효과적으로 유지되었으며, 이는 초기 학습 단계에서 KL 분산 기울기의 지배적 영향을 상쇄시켰다.