[논문 리뷰] Monte Carlo Structured SVI for Two-Level Non-Conjugate Models

Rishit Sheth, Roni Khardon|arXiv (Cornell University)|2016. 12. 12.

Bayesian Methods and Mixture Models참고 문헌 8인용 수 4

한 줄 요약

이 논문은 공액 조건을 가정하지 않은 이중 레벨 잠재변수 모델을 위한 몬테카를로 구조적 스토하스틱 변분 추론(MC-SSVI)을 소개한다. 이는 구조적 변분 근사와 자연 기울기를 활용하여 확장 가능한 추론을 가능하게 한다. 이는 사전분포와 변분 분포가 동일한 지수가운데족 형태를 공유할 경우, 비공액 모델로 SVI를 확장함을 보여주며, 하이브리드 기울기 방법이 정규 모델에서 수렴성을 향상시킨다.

ABSTRACT

The stochastic variational inference (SVI) paradigm, which combines variational inference, natural gradients, and stochastic updates, was recently proposed for large-scale data analysis in conjugate Bayesian models and demonstrated to be effective in several problems. This paper studies a family of Bayesian latent variable models with two levels of hidden variables but without any conjugacy requirements, making several contributions in this context. The first is observing that SVI, with an improved structured variational approximation, is applicable under more general conditions than previously thought with the only requirement being that the approximating variational distribution be in the same family as the prior. The resulting approach, Monte Carlo Structured SVI (MC-SSVI), significantly extends the scope of SVI, enabling large-scale learning in non-conjugate models. For models with latent Gaussian variables we propose a hybrid algorithm, using both standard and natural gradients, which is shown to improve stability and convergence. Applications in mixed effects models, sparse Gaussian processes, probabilistic matrix factorization and correlated topic models demonstrate the generality of the approach and the advantages of the proposed algorithms.

연구 동기 및 목표

• 이중 잠재변수를 가진 비공액 베이지안 모델에서 스토하스틱 변분 추론(SVI)의 한계를 해결한다.
• 공액 조건 없이 일반적인 이중 레벨 잠재변수 모델(2L-LVM)에 MC-SSVI를 확장하여 기존의 지수가운데족 공액 모델 외의 적용 가능성을 넓힌다.
• 잠재 정규분포를 가진 모델에서 공분산에 대해 자연 기울기, 평균에 대해 표준 기울기를 조합한 하이브리드 알고리즘(H-MC-SSVI)을 개발하여 수렴성과 안정성을 향상시킨다.
• 혼합 효과 모델, 희소 가우시안 프로세스, 확률적 행렬 분해, 상관 주제 모델 등 다양한 모델에서 MC-SSVI의 효과성을 입증한다.
• 기존의 변분 근사 간의 관계를 명확히 하고 2L-LVM 계열에서 최적의 구조적 근사를 규명하는 통합 프레임워크를 제공한다.

제안 방법

• MC-SSVI를 2L-LVM에 일반화한 것으로, 미니배치 데이터 샘플링과 몬테카를로 추정을 사용하여 추정이 불가능한 기대값을 처리한다.
• 사전분포와 변분 분포가 동일한 지수가운데족 형태에 있을 경우, 자연 기울기 관계로부터 유도된 고정점 갱신을 적용하여 최적화를 가능하게 한다.
• 잠재 정규분포 변수를 가진 모델에 대해 H-MC-SSVI를 도입하며, 공분산에는 자연 기울기, 평균에는 표준 기울기를 조합하여 수렴성을 향상시킨다.
• 모델 평가를 위해 테스트 세트의 정규화된 음의 로그우도(NLL)를 추정하기 위해 중요도 샘플링과 사후분포 샘플링 기법을 사용한다.
• 대각형 및 전치 공분산 근사를 사용한 변분 추론을 구현하고, 마진 분포의 정확도를 평가하기 위해 몬테카를로 샘플링과 치브 스타일 추정을 비교한다.
• 일반화된 혼합 효과 모델(GME), 희소 가우시안 프로세스(sGP), 확률적 행렬 분해(PMF), 상관 주제 모델(CTM) 등 다양한 모델에 알고리즘을 적용하였으며, nips 및 enron 데이터셋에서 실험적 검증을 수행하였다.

실험 결과

연구 질문

• RQ1 공액 지수가운데족 조건이 필요 없이, 비공액 이중 레벨 잠재변수 모델에 대해 구조적 변분 추론을 어떻게 확장할 수 있는가?
• RQ2 2L-LVM에서 구조적 변분 근사가 언제 최적일 수 있으며, LDA나 PMF와 같은 기존 모델에서의 근사와의 관계는 어떠한가?
• RQ3 잠재 정규분포를 가진 모델에서 공분산에 대해 자연 기울기, 평균에 대해 표준 기울기를 조합하는 것이 수렴성과 안정성에 어떻게 기여하는가?
• RQ4 대규모 비공액 모델인 CTM 및 PMF에서 MC-SSVI가 평균장 근사와 표준 SVI에 비해 성능 향상을 얼마나 달성하는가?
• RQ5 다양한 중요도 샘플링 기법과 공분산 확장 전략은 CTM에서 예측 로그우도 추정에 어떤 영향을 미치는가?

주요 결과

• MC-SSVI는 잠재변수에 대한 사전분포와 변분 분포가 동일한 지수가운데족 형태에 있을 경우 2L-LVM에 적용 가능하며, 이는 기존의 공액 모델에 국한되지 않는 SVI의 적용 범위를 크게 넓힌다.
• 하이브리드 기울기(공분산에는 자연 기울기, 평균에는 표준 기울기)를 사용한 H-MC-SSVI는 잠재 정규분포를 가진 모델에서 수렴성과 안정성이 뛰어나며, 평균장 및 표준 SVI 버전을 모두 초월한다.
• K=50인 nips 데이터셋에서 최적의 구조적 근사를 사용한 H-MC-SSVI는 모든 평가 방법에서 평균장 및 S-DSVI를 능가하는 최저의 테스트 세트 정규화된 NLL를 기록하였다.
• 사후분포 샘플링과 공분산 확장(+I 등)을 적용한 중요도 샘플링 기법은 더 정확한 NLL 추정을 제공하였으며, 표본 크기가 증가함에 따라 일관된 값으로 수렴하였다.
• NLL 추정에 로그 사전분포 항을 추가함으로써 최적 근사에서 평균장과 H-MC-SSVI 간의 성능 격차가 더 크게 드러났으며, 이는 H-MC-SSVI가 모델 불확실성을 더 잘 포착하고 있음을 시사한다.
• enron 데이터셋에서 H-MC-SSVI는 대각공분산을 사용하여 시간이 지남에 따라 평균장보다 더 우수한 최적해를 찾는 것으로 확인되었으며, 이는 대규모 환경에서의 최적화 능력 향상을 뒷받침한다.