[논문 리뷰] Stochastic Backpropagation and Approximate Inference in Deep Generative Models

Danilo Jimenez Rezende, Shakir Mohamed외 1명|arXiv (Cornell University)|2014. 01. 16.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 2,647

한 줄 요약

논문은 Gaussian 잠재 변수를 가진 깊은 생성 모델의 최적화를 위한 확률적 역전파 규칙을 도출하고, Gaussian gradient identities를 제시하며, 분산 감소 및 근사 추론 기법에 대해 논의한다.

ABSTRACT

We marry ideas from deep neural networks and approximate Bayesian inference to derive a generalised class of deep, directed generative models, endowed with a new algorithm for scalable inference and learning. Our algorithm introduces a recognition model to represent approximate posterior distributions, and that acts as a stochastic encoder of the data. We develop stochastic back-propagation -- rules for back-propagation through stochastic variables -- and use this to develop an algorithm that allows for joint optimisation of the parameters of both the generative and recognition model. We demonstrate on several real-world data sets that the model generates realistic samples, provides accurate imputations of missing data and is a useful tool for high-dimensional data visualisation.

연구 동기 및 목표

• 결정론적 구성 요소와 확률적 구성 요소를 구분하여 깊은 생성 모델에서 stochastic backpropagation이 어떻게 작동하는지 명확히 한다.
• Gaussian 기대에 대한 Bonnet’s 와 Price’s 정리를 도출하여 기울기 계산을 가능하게 한다.
• 비가우시안 분포에 대한 분산 감소 및 유연한 좌표 변환 방법을 제공한다.
• Gaussian 잠재 구조를 갖는 깊은 방향성 모델에서 확률적 추론과 학습을 설명한다.

제안 방법

• h_l에서 ξ_l로의 좌표 변화를 통해 결정론적 부분과 확률적 부분을 분리하여 결합 로그가능도를 형식화한다.
• 효율적인 기울기 추정을 위한 Gaussian gradient identities(Bonnet’s and Price’s 정리)을 도출한다.
• 두 가지 확률적 역전파 접근법을 제시한다: B(x;θ) 변환을 갖는 곱 규칙(product-rule) 기반 방법과 다양한 분포에 대한 대안 좌표 변환 접근법.
• 제어변수를 통한 분산 감소 기법을 논의하고 REINFORCE를 이 프레임워크와 연결한다.
• 중요도 샘플링을 통한 주변 가능도 추정기와 누락 픽셀에 대한 마르코프 체인을 이용한 결측 데이터 임퓨테이션 절차를 설명한다.

실험 결과

연구 질문

• RQ1 Gaussian 잠재 변수를 가진 깊은 생성 모델에 확률적 역전파를 어떻게 도출하고 적용할 수 있는가?
• RQ2 가우시안 노이즈 하에서 기울기 추정을 가능하게 하는 Gaussian gradient identities는 무엇인가?
• RQ3 변분 학습에서 사용되는 확률적 기울기 추정기의 분산을 어떻게 감소시킬 수 있는가?
• RQ4 좌표 변환이나 비선형 재매개변화를 통해 비가우시안 분포로 확률적 역전파를 확장하려면 어떻게 해야 하는가?
• RQ5 이 프레임워크에서 주변 가능도 및 결측 데이터를 어떻게 다룰 수 있는가?

주요 결과

• Bonnet’s 정리는 가우시안에 대한 기대의 기울기가 함수의 기울기의 기대에 해당한다.
• Price’s 정리는 공분산에 대한 기대의 기울기를 가우시안 노이즈 하에서 함수의 Hessian의 절반의 기대로 표현한다.
• 곱 규칙 기반 확률적 역전파 접근법은 비선형 함수 B(x)를 도입하여 그래디언트를 변환하고 확률적 층을 가로지르는 역전파를 가능하게 한다.
• 대안 좌표 변환은 Levy, Log-Normal, Generalized Extreme Value 계열과 같은 Gaussian 외 분포에 대해 확률적 역전파를 허용한다.
• 분산 분석은 REINFORCE 계열 추정량이 변수 수가 증가함에 따라 Bonnet/Prices 기반 접근보다 분산이 더 커질 수 있음을 보여준다.
• 중요도 샘플링은 recognition 모델에서 샘플을 사용하여 주변 가능도의 실용적 추정기를 제공한다.