[논문 리뷰] Deep Generative Models with Stick-Breaking Priors

Eric Nalisnick, Padhraic Smyth|arXiv (Cornell University)|2016. 05. 20.

Bayesian Methods and Mixture Models참고 문헌 24인용 수 23

한 줄 요약

이 논문은 깊이 있는 생성 모델에 무한 차원의 잠재 변수를 갖는 스틱 브레이킹 사전분포를 도입하기 위해 확률적 경사 하강 변분 베이즈(SGVB)를 확장한다. 이 방법은 준감독 학습에서 매우 분류 능력이 뛰어난 표현을 달성하며, 기준 베이지안 사전분포인 가우시안 사전분포보다 기준 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Bayesian nonparametric models are attractive for their data-dependent capacity, but their implementation can be problematic due to computational or analytical obstacles. We make progress on this problem by extending Stochastic Gradient Variational Bayes (Kingma & Welling, 2013), a 'black box' method for approximate posterior inference, to stick-breaking priors (Ishwaran & James, 2001). This innovation allows us to define deep generative models (DGMs) with infinite dimensional latent variables. We experimentally demonstrate that DGMs with Dirichlet process priors learn highly discriminative latent representations that are well suited for semi-supervised settings and often outperform the popular Gaussian alternative.

연구 동기 및 목표

• 무한 차원 사전분포를 갖는 베이지안 비모수 모델에서 발생하는 계산 및 분석적 과제를 해결한다.
• 무한 차원 잠재 공간을 갖는 깊이 있는 생성 모델에서 스케일러블한 근사 사후 추론을 가능하게 한다.
• 스틱 브레이킹 사전분포(예: 딜레트 프로세스)와 호환되는 블랙박스 추론 방법을 개발한다.
• 더 분류 능력이 뛰어난 잠재 표현을 학습함으로써 준감독 학습에서 성능 향상을 입증한다.

제안 방법

• 스틱 브레이킹 사전분포와 함께 작동할 수 있도록 확률적 경사 하강 변분 베이즈(SGVB)를 적응시켜 엔드 투 엔드 미분 가능 학습을 가능하게 한다.
• 스틱 브레이킹 과정에 특화된 재매개변수화 기법을 사용하여 기반 기반 최적화를 가능하게 한다.
• 잠재 공간을 딜레트 프로세스 사전분포로 모델링하여 무한 개의 성분을 허용한다.
• 잠재 변수가 무한 지지도를 갖는 스틱 브레이킹 과정에서 유도되는 깊이 있는 생성 모델을 구축한다.
• 무한 차원 표현의 유연성을 활용하여 준감독 학습 과제에 이 방법을 적용한다.
• 추론 네트워크가 스틱 브레이킹 구조를 통해 역전파와 호환되도록 보장한다.

실험 결과

연구 질문

• RQ1 확률적 경사 하강 변분 베이즈(SGVB)는 스케일러블한 사후 근사에 적합한 스틱 브레이킹 사전분포와 함께 확장될 수 있는가?
• RQ2 무한 차원 잠재 변수를 갖는 깊이 있는 생성 모델은 유한 차원 대안보다 더 분류 능력이 뛰어난 표현을 학습할 수 있는가?
• RQ3 준감독 학습 환경에서 딜레트 프로세스 사전분포는 가우시안 사전분포보다 어떻게 비교되는가?
• RQ4 무한 차원 잠재 공간의 사용은 데이터가 적은 환경에서 일반화 능력과 표현 품질을 향상시키는가?

주요 결과

• 제안된 방법은 SGVB를 스틱 브레이킹 사전분포로 확장하여 무한 차원 잠재 변수를 갖는 깊이 있는 생성 모델의 스케일러블한 학습을 가능하게 했다.
• 딜레트 프로세스 사전분포를 사용한 모델은 준감독 학습에 적합한 매우 분류 능력이 뛰어난 잠재 표현을 학습했다.
• 준감독 분류 벤치마크에서 가우시안 사전분포를 사용한 모델보다 이 방법이 일관되게 뛰어난 성능을 보였다.
• 잠재 공간의 무한 차원 성격 덕분에 차원 수를 사전에 지정하지 않고도 복잡한 데이터 구조를 더 유연하게 포착할 수 있었다.