[논문 리뷰] Bayesian Conditional Density Filtering for Big Data.

Rajarshi Guhaniyogi, Shaan Qamar외 1명|arXiv (Cornell University)|2014. 01. 15.

Bayesian Methods and Mixture Models참고 문헌 15인용 수 12

한 줄 요약

이 논문은 전체 데이터를 저장하지 않고도 효율적이고 확장 가능한 사후 샘플링을 가능하게 하는 온라인 베이지안 추론 알고리즘인 조건부 밀도 필터링(C-DF)을 제안한다. C-DF는 추적하는 대체 충분통계량을 사용하여 격리된 기반으로 간주되는 게르츠만 샘플링을 적용함으로써 모든 데이터를 저장하지 않고도 효율적인 사후 샘플링을 가능하게 한다. C-DF는 渐진적으로 정확한 사후분포로 수렴하며 스트리밍 압축 요인 회귀에서 배치 방법과 경쟁 가능한 성능을 달성한다.

ABSTRACT

We propose a Conditional Density Filtering (C-DF) algorithm for efficient online Bayesian inference. C-DF adapts Gibbs sampling to the online setting, sampling from approximations to conditional posterior distributions obtained by tracking of surrogate conditional sufficient statistics as new data arrive. This tracking eliminates the need to store or process the entire data set simultaneously. We show that C-DF samples converge to the exact posterior distribution asymptotically, as sampling proceeds and more data arrive over time. We provide several motivating examples, and consider an application to compressed factor regression for streaming data, illustrating competitive performance with batch algorithms that use all of the data.

연구 동기 및 목표

• 전체 데이터셋을 다시 처리하거나 저장하지 않도록 하여 대용량 데이터에 대한 효율적인 온라인 베이지안 추론을 가능하게 하기 위해.
• 배치 재처리 없이 스트리밍 환경에서도 사후 샘플링 정확도를 유지할 수 있는 방법을 개발하기 위해.
• 새로운 데이터가 도착함에 따라 점진적으로 사후분포를 근사하기 위해 대체 조건부 충분통계량을 추적하기 위해.
• 시간이 지남에 따라 샘플이 정확한 사후분포로 점점 수렴하도록 보장하기 위해.
• 실세계 스트리밍 응용 프로그램, 예를 들어 압축 요인 회귀에서 배치 알고리즘과 경쟁 가능한 성능을 보여주기 위해.

제안 방법

• C-DF는 데이터 스트림이 들어올 때마다 대체 조건부 충분통계량을 유지함으로써 온라인 환경에 적합하게 게르츠만 샘플링을 변형한다.
• 이러한 추적된 통계량을 사용하여 조건부 사후분포를 근사함으로써 과거 데이터의 재처리가 필요 없어진다.
• 새로운 데이터 포인트가 도착할 때마다 충분통계량을 점진적으로 갱신함으로써 실시간 추론이 가능해진다.
• C-DF는 데이터 양이 증가함에 따라 추정치를 정교화함으로써 진정한 사후분포로 점점 수렴함을 보장한다.
• 복잡한 모델, 예를 들어 압축 요인 회귀를 효율적으로 유지함으로써 C-DF는 복잡한 모델에 대한 지속적인 추론을 가능하게 한다.
• 각 단계에서 전체 데이터 저장 및 재계산을 피함으로써 확장 가능한 추론을 지원한다.

실험 결과

연구 질문

• RQ1 전체 데이터셋을 저장하거나 재처리하지 않고도 온라인 베이지안 추론을 효율적으로 수행할 수 있는가?
• RQ2 대체 충분통계량을 어떻게 사용하여 스트리밍 환경에서 정확한 사후 근사치를 유지할 수 있는가?
• RQ3 더 많은 데이터가 도착함에 따라 C-DF 알고리즘이 점점 정확한 사후분포로 수렴하는가?
• RQ4 정확도와 확장성 측면에서 C-DF는 배치 추론 방법과 비교해 어떻게 성능을 내는가?
• RQ5 C-DF는 압축 요인 회귀와 같은 고차원 스트리밍 회귀 작업에 효과적으로 적용될 수 있는가?

주요 결과

• C-DF는 데이터 포인트 수가 증가함에 따라 정확한 사후분포로 점점 수렴한다.
• 전체 데이터셋을 저장하거나 재처리하지 않아도 높은 샘플링 정확도를 유지한다.
• 압축 요인 회귀에서 스트리밍 데이터에 대해 배치 알고리즘과 경쟁 가능한 성능을 보여준다.
• 대체 충분통계량의 사용은 대용량 데이터 환경에서 확장 가능하고 실시간인 베이지안 추론을 가능하게 한다.
• 필요한 충분통계량만 추적함으로써 복잡한 모델에서 온라인 학습을 효과적으로 처리한다.
• 실험 결과는 C-DF가 계산 오버헤드를 크게 줄이면서도 사후 근사 품질을 유지함을 확인한다.