[논문 리뷰] Stick-Breaking Variational Autoencoders

Eric Nalisnick, Padhraic Smyth|arXiv (Cornell University)|2016. 05. 20.

Generative Adversarial Networks and Image Synthesis인용 수 47

한 줄 요약

이 논문은 스틱 브레이킹 과정을 사용하여 확률적이고 데이터 적응형 잠재 차원을 허용하는 베이지안 비모수 VAE인 스틱 브레이킹 변분 오토인코더(SB-VAE)를 제안한다. 후행 추론을 위해 미분 가능한 Kumaraswamy 분포를 활용함으로써, SB-VAE는 특히 준지도 학습에서 더 구분력 있는 표현을 달성하며 일반화 성능이 향상되고 구성 요소 붕괴 없이도 성능을 발휘한다.

ABSTRACT

We extend Stochastic Gradient Variational Bayes to perform posterior inference for the weights of Stick-Breaking processes. This development allows us to define a Stick-Breaking Variational Autoencoder (SB-VAE), a Bayesian nonparametric version of the variational autoencoder that has a latent representation with stochastic dimensionality. We experimentally demonstrate that the SB-VAE, and a semi-supervised variant, learn highly discriminative latent representations that often outperform the Gaussian VAE's.

연구 동기 및 목표

• 스틱 브레이킹 과정의 가중치에 대한 사후 추론을 위해 기존에 비가환적인 스틱 브레이킹 가중치에 대해 Stochastic Gradient Variational Bayes(SGVB)를 확장하는 것.
• 데이터 복잡도에 따라 자동으로 활성 잠재 차원의 수를 결정하는 베이지안 비모수 VAE의 변형을 개발하는 것.
• 동적이고 데이터 기반의 차원을 갖는 잠재 표현을 허용하여 표현 학습 및 준지도 분류 성능을 향상시키는 것.
• 잠재 차원을 고정하고 KL 정규화로 인해 구성 요소 붕괴 위험이 있는 가우시안 VAE의 한계를 극복하는 것.
• 스틱 브레이킹 가중치의 미분 가능한 매개변수화를 통해 깊이 있는 생성 모델에서 확장 가능한, 미분 가능한 모델 용량 제어를 가능하게 하는 것.

제안 방법

• 스틱 브레이킹 가중치에 대한 비공액, 미분 가능한 근사 사후 분포로 Kumaraswamy 분포를 사용하여, 잠재 변수를 통해 역전파가 가능하도록 한다.
• 잠재 차원에 대한 스틱 브레이킹 사전분포를 사용하여 VAE 및 그 준지도 학습 변형을 재구성함으로써, 모델이 자동으로 활성 성분의 수를 결정할 수 있도록 한다.
• Kumaraswamy 분포를 통한 스틱 브레이킹 과정의 비중앙 매개변수화를 활용하여, SGVB에 필요한 미분 가능하고 비중앙 매개변수화(DNCP) 조건을 만족시킨다.
• 잠재 변수를 노이즈 변수의 결정적 함수로 재구성함으로써, 몬테 카를로 근사를 사용한 기초 하한식(ELBO)을 사용해 모델을 훈련한다.
• 계산 비용을 제한하기 위해 잘림을 적용하면서도 모델의 유연성을 유지한 채로, 비지도 및 준지도 학습 작업에 이 방법을 적용한다.
• 스틱 조각을 조립하기 위한 선형 시간 알고리즘을 사용하여, 표준 VAE보다 최소한의 계산 오버헤드를 유도한다.

실험 결과

연구 질문

• RQ1 스틱 브레이킹 과정의 가중치에 대해 자연스럽게 비가환적인 스틱 브레이킹 가중치에 대한 Stochastic Gradient Variational Bayes(SGVB)를 확장할 수 있는가?
• RQ2 스틱 브레이킹 사전분포를 갖는 베이지안 비모수 VAE는 표준 가우시안 VAE보다 더 구분력 있는 잠재 표현을 학습할 수 있는가?
• RQ3 SB-VAE는 데이터 복잡도에 따라 잠재 차원을 적응시킴으로써 준지도 학습에서 더 높은 성능을 달성하는가?
• RQ4 KL 정규화를 사용하고 있음에도 불구하고, SB-VAE는 가우시안 VAE에서 흔히 발생하는 구성 요소 붕괴를 어떻게 피하는가?
• RQ5 미분 가능한 스틱 브레이킹은 깊이 있는 생성 모델에서 확장 가능하고 적응 가능한 모델 용량을 가능하게 하는가?

주요 결과

• MNIST에서 1%의 레이블 데이터를 사용할 때, SB-VAE는 가우시안 VAE의 27.72%에서 11.78%로 오차를 감소시켜 준지도 분류 성능을 유의미하게 향상시켰다.
• SVHN에서 1%의 레이블 데이터를 사용할 때, SB-VAE는 오차가 32.08%로 나타났고, 가우시안 VAE는 36.08%를 기록하여 낮은 지도 학습 조건에서도 뛰어난 일반화 성능을 보였다.
• 잠재 차원이 비활성화되어도 디코더 가중치가 활성 상태를 유지함으로써, SB-VAE는 구성 요소 붕괴 없이 희박한 잠재 표현을 유지한다.
• 모델의 잠재 표현은 클래스 경계를 더 잘 유지하여 더 뛰어난 구분력 있는 성능 기여를 한다.
• 비활성 잠재 차원에 대해서도 디코더 가중치가 안정적이고 0이 아닌 상태를 유지함으로써, SB-VAE는 가중치 감쇠나 구성 요소 붕괴의 증거를 보이지 않는다.
• SB-VAE의 계산 비용은 매우 낮으며, 스틱 조각 조립을 위한 선형 시간 연산만 추가로 발생하므로 확장성이 뛰어나다.