[논문 리뷰] A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features

Tim Salimans|arXiv (Cornell University)|2016. 02. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 7

한 줄 요약

이 논문은 계단형 구조를 가진 변동형 오토인코더를 제안하며, 깊이 있는 계층적 구조의 정규 분포 잠재 변수를 사용하여 계층적 사전 학습 없이도 깊이 있는 생성 모델을 공동 학습할 수 있도록 한다. 생성 모델의 종속성과 일치하는 구조적 사전 분포 근사와 정규 분포를 활용한 미분 가능한 희박성의 조합을 통해, 이중화된 MNIST에서 -92.5 nats의 테스트 변동형 하한을 달성하며, 깊이 있고 희박한 잠재 계층에서 효과적인 학습이 가능함을 보여준다.

ABSTRACT

In this note we present a generative model of natural images consisting of a deep hierarchy of layers of latent random variables, each of which follows a new type of distribution that we call rectified Gaussian. These rectified Gaussian units allow spike-and-slab type sparsity, while retaining the differentiability necessary for efficient stochastic gradient variational inference. To learn the parameters of the new model, we approximate the posterior of the latent variables with a variational auto-encoder. Rather than making the usual mean-field assumption however, the encoder parameterizes a new type of structured variational approximation that retains the prior dependencies of the generative model. Using this structured posterior approximation, we are able to perform joint training of deep models with many layers of latent random variables, without having to resort to stacking or other layerwise training procedures.

연구 동기 및 목표

• 스파이크-앤드-슬래브 유형의 희박성을 보이면서도 효율적인 학습을 위한 미분 가능성 유지가 가능한 계층적 잠재 변수를 갖는 깊이 있는 생성 모델을 개발하는 것.
• 스택형 또는 계층별 사전 학습 절차에 의존하지 않고도 많은 수의 확률적 잠재 변수를 포함한 깊이 있는 모델을 학습하는 데 도전하는 것.
• 생성 모델의 사전 분포의 종속성 구조를 유지하는 구조적 변동형 사후 근사 분포를 설계하여 사후 근사 정확도를 향상시키는 것.
• 역전파를 전체 계층에 걸쳐 적용할 수 있는 확률적 경사 하강 변동형 추론을 사용하여 깊이 있는 계층적 모델의 엔드 투 엔드 학습을 가능하게 하는 것.

제안 방법

• 가우시안 분포와 0의 최대값으로 정의되는 정규화된 가우시안 분포를 도입하여, 희박성 유도 사전 분포로 사용함으로써 희박성과 기울기 전파를 동시에 확보한다.
• 각 층의 매개변수를 이전 층을 통해 학습된 가중치와 편향을 통해 재귀적으로 계산하는 깊이 있는 계층적 생성 모델을 구성하며, 최상위 층의 평균은 학습 가능한 매개변수로 설정한다.
• 생성 모델의 조건부 종속성과 일치하는 구조적 변동형 사후 분포를 사용하며, 각 잠재 변수의 근사 사후 분포 역시 정규화된 가우시안으로 모델링한다.
• 각 층에서 사후 분포와 사전 분포 간의 KL 발산에 대한 해석적 표현을 유도하여 변동형 하한의 정확한 계산을 가능하게 한다.
• 편향 없는, 미분 가능한 변동형 하한 근사치를 사용하여 확률적 경사 하강법을 통해 공동 학습을 수행하며, 각 층에 배치 정규화를 적용하여 안정성을 확보한다.
• 하향식 추론 네트워크를 활용하여 변동형 사후의 근사 가능도 매개변수를 계산하며, 이는 KL 발산 계산에 사용된다.

실험 결과

연구 질문

• RQ1 스파이크-앤드-슬래브 유형의 희박성을 갖는 깊이 있는 계층적 생성 모델을 계층별 사전 학습 없이도 확률적 경사 하강 변동형 추론을 통해 엔드 투 엔드로 학습할 수 있는가?
• RQ2 깊이 있는 잠재 변수 모델에서 어떻게 미분 가능한 희박성을 달성하면서도 효율적인 사후 추론이 가능하게 할 수 있는가?
• RQ3 생성 모델의 사전 분포의 계층적 종속성을 유지하는 구조적 변동형 사후 근사 분포가 더 나은 사후 근사 정확도와 깊이 있는 모델의 학습 안정성 향상에 기여하는가?
• RQ4 다중 계층의 확률적 잠재 변수를 갖는 모델이 MNIST와 같은 벤치마크 데이터셋에서 단일 층 VAE보다 로그 가능도 측면에서 더 우수한 성능을 내는가?

주요 결과

• 4층의 계층적 구조(각각 50, 100, 200, 300개 유닛)를 사용하여 이중화된 MNIST 데이터셋에서 -92.5 nats의 테스트 변동형 하한을 달성한다.
• 정규화된 가우시안 단위의 사용은 스파이크-앤드-슬래브 유형의 희박성을 효과적으로 구현하면서도 미분 가능성을 유지하여 전체 계층에 걸친 역전파를 가능하게 한다.
• 구조적 변동형 사후 근사 분포가 생성 모델의 종속성 구조를 성공적으로 유지하여, 스택형 또는 계층별 사전 학습 없이도 깊이 있는 모델의 공동 학습을 가능하게 한다.
• 각 층에 적용된 배치 정규화가 학습 안정성과 수렴 속도를 크게 향상시키며, 특히 150개 예제로 구성된 소형 배치에서 두드러진 효과를 보인다.
• 모델의 깊이와 표현력이 증가했음에도 불구하고 성능는 다중 결정론적 층을 갖는 단일 층 VAE와 유사하게 유지되며, 이는 이 설정에서 더 깊은 확률적 계층이 아직 상당한 성능 향상을 이끌지 못하고 있음을 시사한다.
• 이 방법은 기존의 딥러닝 최적화 기법(예: Adamax)과 호환되며, 표준 딥러닝 파ip라인을 사용하여 확률적 단위를 갖는 깊이 있는 계층적 모델을 효과적으로 학습시킬 수 있음을 보여준다.