[논문 리뷰] Bayesian Conditional Density Filtering

Shaan Qamar, Rajarshi Guhaniyogi외 1명|arXiv (Cornell University)|2014. 01. 15.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 15

한 줄 요약

이 논문은 스트리밍 및 고차원 데이터 환경에서 효율적인 MCMC 샘플링을 가능하게 하기 위해 유사 조건 충분통계량(Surrogate Conditional Sufficient Statistics, SCSS)을 사용하는 확장 가능한 온라인 베이지안 추론 방법인 베이지안 조건밀도 필터링(C-DF)을 소개한다. 원시 데이터 대신 SCSS를 전파함으로써 C-DF는 메모리 및 계산 비용을 줄이면서도 데이터가 축적됨에 따라 진짜 사후분포로의 정확한 사후 근사와 수렴을 유지한다.

ABSTRACT

We propose a Conditional Density Filtering (C-DF) algorithm for efficient online Bayesian inference. C-DF adapts MCMC sampling to the online setting, sampling from approximations to conditional posterior distributions obtained by propagating surrogate conditional sufficient statistics (a function of data and parameter estimates) as new data arrive. These quantities eliminate the need to store or process the entire dataset simultaneously and offer a number of desirable features. Often, these include a reduction in memory requirements and runtime and improved mixing, along with state-of-the-art parameter inference and prediction. These improvements are demonstrated through several illustrative examples including an application to high dimensional compressed regression. Finally, we show that C-DF samples converge to the target posterior distribution asymptotically as sampling proceeds and more data arrives.

연구 동기 및 목표

• 전체 데이터 저장 및 우도 평가가 비용이 많이 들기 때문에, 대규모 데이터 환경에서 기존 MCMC 방법의 계산 비용이 지나치게 높아지는 문제를 해결하기 위해.
• 순차적인 데이터 도착 환경에 적합한 효율적인 온라인 베이지안 추론을 가능하게 하기 위해 MCMC를 순차적 데이터에 적응시키기 위해.
• 메모리 및 런타임 비용을 줄이면서도 사후 정확도를 유지하고 대규모 베이지안 모델에서 MCMC의 혼합 성능을 향상시키기 위해.
• 더 많은 데이터가 도착함에 따라 C-DF 샘플이 진짜 사후분포로 수렴하는 이론적 수렴성을 확립하기 위해.
• 변분 근사와 유사 통계량을 사용하여 고차원 매개변수 공간과 복잡한 우도를 가진 모델로 MCMC의 확장성을 확장하기 위해.

제안 방법

• C-DF는 데이터와 매개변수 추정치를 요약하기 위해 유사 조건 충분통계량(SCSS)을 사용하여 전체 데이터셋을 저장하지 않는다.
• 각 시간 단계에서 조건부 분포의 근사 사후 매개변수를 업데이트하기 위해 고정점 반복을 적용한다.
• 매개변수를 그룹으로 나누어 이전 시간 단계에서 전파된 SCSS를 사용하여 반복적으로 업데이트한다.
• 각 데이터 샤드에 대해 ${\boldsymbol{C}}_{1,1}^{t}$, ${\boldsymbol{C}}_{1,2}^{t}$, 및 ${\boldsymbol{C}}_{1,3}^{t}$와 같은 충분통계량을 업데이트하여 사후 업데이트에 필요한 정보를 유지한다.
• 변분 근사를 사용하여 조건부 사후분포를 정의함으로써 각 단계에서 전체 우도 평가 없이도 효율적인 계산을 가능하게 한다.
• 주 모델의 평균 및 공분산 매개변수와 역감마 및 역구형분포 사전분포의 초모수를 번갈아가며 업데이트한다.

실험 결과

연구 질문

• RQ1 원시 데이터 전체를 저장하지 않고도 MCMC 샘플링을 온라인 스트리밍 데이터 환경에 적응시킬 수 있는가?
• RQ2 유사 조건 충분통계량(SCSS)이 메모리 및 계산 비용을 줄이기 위해 전체 데이터 처리를 효과적으로 대체할 수 있는가?
• RQ3 C-DF 알고리즘이 시간이 지남에 따라 더 많은 데이터가 도착함에 따라 진짜 사후분포로 수렴하는가?
• RQ4 표준 MCMC나 서브샘플링 방법에 비해 C-DF가 고차원 회귀 모델에서 더 나은 혼합 성능과 정확도를 달성할 수 있는가?
• RQ5 C-DF는 스트리밍 데이터를 처리하는 고차원 환경, 특히 압축 회귀와 같은 상황에서 얼마나 잘 성능을 발휘하는가?

주요 결과

• C-DF는 원시 데이터나 전체 충분통계량 대신 SCSS를 전파함으로써 메모리 및 런타임 요구량을 크게 줄인다.
• 특히 고차원 모델에서 표준 MCMC에 비해 C-DF는 더 나은 MCMC 혼합 성능을 달성한다.
• C-DF 샘플은 더 많은 데이터가 도착함에 따라 渐진적으로 진짜 사후분포로 수렴하므로 이론적으로 타당성이 보장된다.
• 실험 결과는 고차원 압축 회귀에서 최신 기술 수준의 성능을 보이며, 매개변수 추정 및 예측에서 뛰어난 성능을 발휘한다.
• 작은 순차적 데이터 샤드로 처리되더라도 정확도를 유지함으로써 데이터 스트리밍 환경에서의 강건성을 보여준다.
• SCSS에 대한 고정점 반복은 전체 우도 평가 없이도 효율적인 매개변수 업데이트를 가능하게 하여 대규모 데이터셋으로의 확장성을 확보한다.