[논문 리뷰] Fast Second-Order Stochastic Backpropagation for Variational Inference

Kai Fan, Ziteng Wang외 3명|arXiv (Cornell University)|2015. 09. 09.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 21

한 줄 요약

이 논문은 재프로그래밍을 통한 헤시안 프리 가우시안 백프로파게이션을 사용한 변분 추론을 위한 스케일러블한 두 번째 차수 확률적 최적화 방법인 HFSGVI를 제안한다. 헤시안-벡터 곱을 통해 곡률 정보를 효율적으로 계산함으로써, 특히 VAE와 베이지안 로지스틱 회귀와 같은 깊은 잠재변수 모델에서 SGD 및 AdaGrad와 같은 일阶 방법보다 더 빠른 수렴을 달성한다.

ABSTRACT

We propose a second-order (Hessian or Hessian-free) based optimization method for variational inference inspired by Gaussian backpropagation, and argue that quasi-Newton optimization can be developed as well. This is accomplished by generalizing the gradient computation in stochastic backpropagation via a reparametrization trick with lower complexity. As an illustrative example, we apply this approach to the problems of Bayesian logistic regression and variational auto-encoder (VAE). Additionally, we compute bounds on the estimator variance of intractable expectations for the family of Lipschitz continuous function. Our method is practical, scalable and model free. We demonstrate our method on several real-world datasets and provide comparisons with other stochastic gradient methods to show substantial enhancement in convergence rates.

연구 동기 및 목표

• VAE와 베이지안 로지스틱 회귀와 같은 깊은 잠재변수 모델에서 일阶 확률적 경사 하강 방법의 느린 수렴 문제를 해결한다.
• 정확한 뉴턴 방법의 높은 계산 비용을 극복하기 위해 변분 추론에서 효율적인 헤시안-벡터 곱 계산을 가능하게 한다.
• 명시적인 헤시안 역행렬 계산이 필요 없이 곡률 정보를 활용하는 모델에 종속되지 않은 스케일러블한 최적화 프레임워크를 개발한다.
• 두 번째 차수 정보가 데이터 크기에 대해 선형적인 계산 복잡도를 유지하면서도 수렴 속도를 향상시킨다는 것을 입증한다.
• 기존의 단변수 결과를 일반화하여, 비가역 기대값에 대한 확률적 경사 추정기의 이론적 분산 한계를 다변수 및 리프시츠 연속 함수로 확장한다.

제안 방법

• 잠재변수를 노이즈의 결정론적 함수로 표현하기 위해 재프로그래밍 기법을 사용하여, 비편향된 경사 및 헤시안 추정이 가능하도록 한다.
• 위치-척도 가족의 성질을 활용하여 가우시안 변분 근사에 대한 두 번째 차수 경사(헤시안 및 헤시안-벡터 곱)를 유도한다.
• 명시적인 헤시안 행렬 역행렬 계산을 피하기 위해 헤시안 프리 최적화를 구현함으로써, d차원 잠재공간에 대해 반복당 계산 비용을 O(d²)에서 O(d)로 감소시킨다.
• 헤시안 프리 최적화를 확률적 백프로파게이션과 융합하여, 공동 매개변수 최적화를 위한 스케일러블한 두 번째 차수 알고리즘인 HFSGVI를 구성한다.
• 뉴턴 유형 방법의 애핀 불변성을 활용하여 자동으로 학습률을 조정함으로써 수동 조정을 제거한다.
• 베이지안 로지스틱 회귀와 변분 오토에인코더에 이 방법을 적용하여 실용적인 스케일러비리티와 수렴 속도를 입증한다.

실험 결과

연구 질문

• RQ1 깊은 잠재변수 모델에서 변분 추론에 대해 헤시안 정보를 통한 두 번째 차수 최적화가 스케일러블하고 효율적으로 구현될 수 있는가?
• RQ2 완전한 헤시안 행렬의 역행렬을 계산하지 않고도 가우시안 변분 추론에서 헤시안-벡터 곱을 효율적으로 계산할 수 있는가?
• RQ3 곡률 정보를 통합함으로써, 실제 생성 모델인 생성 모델에서 일阶 확률적 경사 하강 방법보다 더 빠른 수렴이 이루어지는가?
• RQ4 비가역 기대값에 대한 확률적 경사 추정기의 분산은 리프시츠 연속 함수에 대해 차원에 무관하게 상한이 존재하는가?
• RQ5 기준 데이터셋에서 HFSGVI는 SGD 및 AdaGrad와 같은 일阶 방법과 비교해 성능과 수렴 속도에서 어떻게 다른가?

주요 결과

• 베이지안 로지스틱 회귀와 VAE 모두에서 HFSGVI는 SGD 및 AdaGrad와 같은 일阶 방법보다 유의미하게 더 빠른 수렴을 달성하며, 시간이 지남에 따라 하한 값이 더 빠르게 증가하는 것으로 나타났다.
• HFSGVI는 두 번째 차수 정보를 사용하고 있음에도 불구하고, 데이터 포인트 수에 대해 선형적인 반복당 계산 복잡도를 유지한다. 이는 SGD와 유사하다.
• 리프시츠 연속 함수에 대해 확률적 하한 추정기의 분산은 유일한 차원에 의존하지 않는 상수로 상한이 존재하며, 이는 이전의 단변수 결과를 일반화한 것이다.
• HFSGVI에서의 헤시안 프리 최적화로 인해 애핀 불변성 덕분에 수동 학습률 조정이 필요 없어졌고, 이는 안정성 향상에 기여했다.
• Olivetti 얼굴 데이터셋에서의 복원 결과는, 브로드캐스트된 잠재공간에서도 HFSGVI가 AdaGrad보다 더 선명하고 현실적인 이미지를 생성한다는 것을 보여주었다.
• 2차원 잠재공간을 사용한 학습된 다양체의 시각화 결과는, HFSGVI가 얼굴 정체성의 변화와 같은 의미 있는 데이터 구조를 매끄럽고 해석 가능한 방식으로 포착하고 있음을 확인했다.