[논문 리뷰] Structured Stochastic Variational Inference

Matthew D. Hoffman, David M. Blei|arXiv (Cornell University)|2014. 04. 16.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 49

한 줄 요약

이 논문은 전역 매개변수와 국소 잠재 변수 간의 의존성을 允허함으로써 평균장 가정을 완화하는 일반화된 확률적 변분 추론(SVI)인 구조적 확률적 변분 추론(SSVI)을 제안한다. 변분 분포를 $ q(z,\beta) = \left(\prod_k q(\beta_k)\right) \prod_n q(z_n|\beta) $ 로 모델링함으로써 SSVI는 근사 편향을 감소시키고 국소 최적점에서 갇히는 것을 방지하며, LDA와 같은 대규모 모델에서 표준 SVI보다 정확도와 초모수에 대한 강건성을 향상시킨다.

ABSTRACT

Stochastic variational inference makes it possible to approximate posterior distributions induced by large datasets quickly using stochastic optimization. The algorithm relies on the use of fully factorized variational distributions. However, this "mean-field" independence approximation limits the fidelity of the posterior approximation, and introduces local optima. We show how to relax the mean-field approximation to allow arbitrary dependencies between global parameters and local hidden variables, producing better parameter estimates by reducing bias, sensitivity to local optima, and sensitivity to hyperparameters.

연구 동기 및 목표

• 고차원적이고 다모드인 사후 분포에서 평균장 변분 추론의 한계를 해결하기 위해, 독립성 가정이 유도하는 편향과 국소 최적점 문제를 해결한다.
• 전역 매개변수와 국소 잠재 변수 간의 의존성을 포괄하는 구조적 근사로 확률적 변분 추론을 확장한다.
• 계산 효율성을 유지하면서 사후 분포 근사의 정밀도를 향상시키는 확장 가능한, 확률적 최적화 기반 프레임워크를 개발한다.
• 초모수에 대한 민감도를 줄이고, 평균장 SVI에서 흔히 발생하는 열악한 국소 최적점에서 벗어나기 위해 노력한다.
• 실제 대규모 데이터셋, 예를 들어 위키백과 텍스트 코퍼스를 사용한 주제 모델(LDA)을 통해 SSVI의 효과성을 입증한다.

제안 방법

• 전역 매개변수 $ \beta $ 와 국소 변수 $ z_n $ 간의 임의의 의존성을 允허하는 구조적 변분 분포 $ q(z,\beta) = \left(\prod_k q(\beta_k)\right) \prod_n q(z_n|\beta) $ 를 제안한다.
• 데이터의 미니배치로부터 노이즈가 섞인 기울기를 사용하여 전역 매개변수 $ \beta $ 를 갱신하기 위해 확률적 최적화를 적응적으로 적용함으로써 확장성을 유지한다.
• 지수족 분포(예: 딜리클레 분포)의 경우 자연 기울기와 페시안 정보 행렬을 사용하여 변분 매개변수의 닫힌 형태 갱신을 유도한다.
• 역누적분포함수 샘플링(예: 딜리클레 분포에 대한 감마 변수)을 통한 재구성 기법을 도입하여 미분 가능한 샘플링과 기울기 계산을 가능하게 한다.
• 두 가지 변형을 도입한다: 자연 기울기 기반 SSVI와 적응적 단계 크기 사용 SSVI-A로, 모두 효율적인 온라인 학습을 위해 설계되었다.
• 행렬 역행렬 보조정식을 활용하여 충분통계량과 페시안 정보 행렬의 역행렬을 효율적으로 계산함으로써 잠재 딜리클레 할당(LDA)에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 전역 매개변수와 국소 잠재 변수 간의 구조적 의존성이 확률적 변분 추론에서 사후 분포 근사에 기여하는가?
• RQ2 평균장 가정을 완화함으로써 대규모 베이지안 모델에서 편향과 초모수 민감도를 줄일 수 있는가?
• RQ3 확률적 최적화를 통해 구조적 변분 추론을 거대한 데이터셋에 효율적으로 스케일링할 수 있는가?
• RQ4 예측 정확도와 수렴 속도 측면에서 SSVI는 평균장 SVI와 깁스 샘플링보다 어떻게 비교되는가?
• RQ5 다모드 사후 분포에서 흔히 발생하는 국소 최적점 문제를 SSVI는 어느 정도 피할 수 있는가?

주요 결과

• 380만 개의 문서를 포함한 위키백과 데이터셋에서 SSVI는 평균장 SVI보다 유의미하게 높은 예측 정확도를 달성했으며, 깁스 샘플링 수준에 근접한 성능을 보였다.
• 자연 기울기 갱신을 사용하는 SSVI 알고리즘은 모든 초모수 설정에서 평균장 SVI를 능가했으며, 특히 $ \alpha = 0.1 $ 인 경우 평균장 SVI의 성능 저하가 심한 상황에서 두드러진 성능 향상을 보였다.
• 적응적 단계 크기를 사용하는 SSVI-A는 표준 SVI에 비해 강건성을 더욱 향상시키고 초모수 민감도를 감소시켰다.
• CVB0와 깁스 샘플링은 SSVI와 함께 사용했을 때 유사한 성능을 보였지만, 평균장 국소 업데이트는 성능 저하를 초래했다.
• 구조적 근사는 근사 편향을 감소시키고 다모드 사후 분포가 존재하는 모델에서 열악한 국소 최적점에서 벗어나도록 도와준다.
• 행렬 역행렬 보조정식을 활용해 딜리클레 분포의 페시안 정보 행렬의 역행렬을 $ O(V) $ 시간에 효율적으로 계산함으로써 스케일러블한 갱신을 가능하게 했다.