[논문 리뷰] Stochastic Expectation Propagation

Yingzhen Li, José Miguel Hernández-Lobato외 1명|arXiv (Cornell University)|2015. 06. 12.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 29

한 줄 요약

이 논문은 Stochastic Expectation Propagation (SEP)를 제안하며, 데이터의 미니배치를 대상으로 하는 스 tochastic이고 局소적인 업데이트를 통해 전역 사후 근사값을 갱신함으로써 Expectation Propagation (EP)의 정확성과 Variational Inference의 메모리 효율성을 결합한 확장 가능한 베이지안 추론 방법이다. SEP는 전체 EP 대비 N 배의 메모리 소비를 줄이며, 합성 및 실제 데이터셋, 특히 신경망과 같은 대규모 확률 모델에서 경쟁력 있는 정확도를 유지한다.

ABSTRACT

Expectation propagation (EP) is a deterministic approximation algorithm that is often used to perform approximate Bayesian parameter learning. EP approximates the full intractable posterior distribution through a set of local approximations that are iteratively refined for each datapoint. EP can offer analytic and computational advantages over other approximations, such as Variational Inference (VI), and is the method of choice for a number of models. The local nature of EP appears to make it an ideal candidate for performing Bayesian learning on large models in large-scale dataset settings. However, EP has a crucial limitation in this context: the number of approximating factors needs to increase with the number of data-points, N, which often entails a prohibitively large memory overhead. This paper presents an extension to EP, called stochastic expectation propagation (SEP), that maintains a global posterior approximation (like VI) but updates it in a local way (like EP). Experiments on a number of canonical learning problems using synthetic and real-world datasets indicate that SEP performs almost as well as full EP, but reduces the memory consumption by a factor of $N$. SEP is therefore ideally suited to performing approximate Bayesian learning in the large model, large dataset setting.

연구 동기 및 목표

• 대규모 베이지안 학습에서 데이터 포인트 수 N 과 선형적으로 증가하는 국소 근사 요소 수에 따라 발생하는 Expectation Propagation (EP)의 금방이 메모리 오버헤드 문제를 해결하기 위해.
• 특히 비연속적인 가능도를 가진 모델에서 EP의 높은 정확도를 유지하면서도 그 메모리 병목 현상을 피하기 위해.
• Variational Inference처럼 전역 사후 근사값을 유지하면서도, EP처럼 데이터 서브샘플 기반의 국소 계산을 통해 업데이트를 수행함으로써 확장성을 확보하는 방법을 개발하기 위해.
• 결과적으로 도출된 알고리즘인 Stochastic EP (SEP)가 실제 및 합성 데이터셋에서 전체 EP와 유사한 성능을 보이며 메모리 사용을 극적으로 줄이는가를 입증하기 위해.

제안 방법

• SEP는 각 데이터 포인트에 대한 개별 요소를 저장하지 않고, 무작위로 선택된 데이터의 미니배치에서 유도된 스 tochastic 추정치를 사용하여 반복적으로 개선되는 전역 사후 근사값 q(θ)를 유지한다.
• 각 반복 단계에서 데이터의 미니배치가 선택되고, 전역 근사값에 대해 EP 유사 업데이트가 수행되며, 이는 EP의 국소 정밀화 과정을 모방하지만 각 데이터 포인트의 요소를 저장하지 않는다.
• 알고리즘은 Stochastic Variational Inference (SVI)와 유사하게 감쇠된 업데이트를 사용하여 수렴 안정성을 확보한다.
• SEP는 자연스럽게 power EP (PEP) 프레임워크로 일반화되며, 잠재 변수와 복잡한 가능도를 가진 모델에 적용할 수 있다.
• 이 방법은 근사의 해상도 제어를 지원하며, 더 세밀한 업데이트를 위해 데이터 분할 전략을 적용할 수 있다.
• 모멘트 매칭과 국소 근사를 활용하여 전역 분포를 효율적으로 갱신함으로써, N개의 별도 요소를 저장할 필요 없이도 가능하다.

실험 결과

연구 질문

• RQ1 대규모 베이지안 학습에서 Expectation Propagation (EP)의 높은 정확성은 유지하면서도 O(N) 메모리 오버헤드를 피할 수 있는가?
• RQ2 EP처럼 데이터 서브샘플 기반의 진정한 국소 업데이트를 수행하면서도 전역 사후 근사값을 유지할 수 있는가?
• RQ3 실제 및 합성 데이터셋에서 SEP의 정확도와 메모리 효율성은 전체 EP 및 ADF와 비교해 어떻게 되는가?
• RQ4 대규모 데이터셋을 가진 복잡한 모델, 예를 들어 확률적 신경망(예: 확률적 백프로파게이션)에 대해 SEP를 효과적으로 적용할 수 있는가?
• RQ5 미니배치 크기와 업데이트 감쇠가 알고리즘의 수렴성과 안정성에 미치는 영향은 무엇인가?

주요 결과

• SEP는 Kin8nm, Naval, Power, Protein, Wine, Year 등 여러 UCI 회귀 데이터셋에서 전체 EP와 유사한 테스트 RMSE 및 로그가능도 값을 기록하였다.
• Protein 데이터셋에서 SEP는 EP의 694 MB에서 발생하는 메모리 사용을 크게 줄여, N 배의 메모리 감소를 입증하였다.
• Year 데이터셋에서 SEP는 EP의 65,107 MB에서 발생하는 메모리 사용을 확장 가능한 수준으로 줄여, N 배의 메모리 우수성을 확인하였다.
• 확률적 백프로파게이션 실험에서 SEP는 일부 경우에서 ADF를 초월했고, 정확도는 EP와 유사했지만 훨씬 적은 메모리를 사용하였다.
• ADF는 PBP 설정에서 종종 EP를 초월했으며, 이는 ADF의 전역 업데이트와 모멘트 근사 간의 상호작용이 유리할 수 있음을 시사하지만, SEP는 정확도와 메모리 간의 더 우수한 트레이드오프를 제공한다.
• 베이지안 로지스틱 회귀 및 가우시안 믹스처 모델에서도 경쟁력 있는 성능을 보여, 다양한 모델 유형에 일반적으로 적용 가능함을 확인하였다.