[논문 리뷰] BayesDB: A probabilistic programming system for querying the probable implications of data

Vikash K. Mansinghka, Richard Tibbetts외 3명|arXiv (Cornell University)|2015. 12. 15.

Bayesian Modeling and Causal Inference참고 문헌 3인용 수 22

한 줄 요약

BayesDB는 비결정론적 프로그래밍 시스템을 제공하여 비통계학자들도 SQL 유사 쿼리 언어(BQL)를 통해 엄밀한 베이지안 추론을 수행할 수 있도록 한다. 이는 베이지안 모델 평균화를 통해 자동으로 모델 선택과 추론을 관리한다. 메타모델링 언어(MML), 반정적 모델 빌더, 생성적 인구 모델 인터페이스를 결합하여 통계적 복잡성을 추상화함으로써, 최소한의 통계 전문 지식으로도 가능성을 가진 데이터 영향을 쿼리할 수 있도록 하면서도 수학적 엄밀성을 유지한다.

ABSTRACT

Is it possible to make statistical inference broadly accessible to non-statisticians without sacrificing mathematical rigor or inference quality? This paper describes BayesDB, a probabilistic programming platform that aims to enable users to query the probable implications of their data as directly as SQL databases enable them to query the data itself. This paper focuses on four aspects of BayesDB: (i) BQL, an SQL-like query language for Bayesian data analysis, that answers queries by averaging over an implicit space of probabilistic models; (ii) techniques for implementing BQL using a broad class of multivariate probabilistic models; (iii) a semi-parametric Bayesian model-builder that auomatically builds ensembles of factorial mixture models to serve as baselines; and (iv) MML, a "meta-modeling" language for imposing qualitative constraints on the model-builder and combining baseline models with custom algorithmic and statistical models that can be implemented in external software. BayesDB is illustrated using three applications: cleaning and exploring a public database of Earth satellites; assessing the evidence for temporal dependence between macroeconomic indicators; and analyzing a salary survey.

연구 동기 및 목표

• 비통계학자들이 메소드적 품질을 희생시키지 않고 엄밀한 베이지안 통계 추론에 접근할 수 있도록 하는 것.
• 고수준 쿼리 언어와 자동 모델 구축을 통해 확률적 모델링과 추론의 복잡성을 추상화하는 것.
• 사용자가 데이터를 탐색하고 정제하며 데이터 기반으로 확률적 쿼리를 통해 시뮬레이션, 추론, 추정을 수행할 수 있도록 하는 것.
• 메타모델링 언어(MML)를 통해 자동 기초 모델링과 전문가의 맞춤형 설정을 지원하는 것.
• 통계 모델링과 데이터 분석 작업을 분리하는 통합 시스템을 제공함으로써, SQL이 저장 로직과 데이터 검색을 분리하는 것과 유사하게 하는 것.

제안 방법

• BQL, 즉 베이지안 쿼리 언어는 SIMULATE, INFER, ESTIMATE 작업을 사용하여 암시적 확률 모델 공간을 평균화함으로써 베이지안 추론을 수행할 수 있도록 한다.
• 시스템은 생성적 인구 모델(GPM)을 위한 수학적 인터페이스를 사용하여 임의의 조건부 분포에서의 시뮬레이션과 다변량 데이터를 통한 밀도 계산을 가능하게 한다.
• 반정적 베이지안 메타모델은 자동으로 요인 분석 혼합 모델의 앙상블을 생성하여 데이터 탐색 및 정제를 위한 기본 기반 모델로 제공한다.
• MML은 최소한의 확률 프로그래밍 언어로서 통계학자들이 맞춤형 모델을 내장하고 조건부 독립성과 같은 질적 제약 조건을 설정하며 자동 모델 빌더와 통합할 수 있도록 한다.
• BayesDB는 시뮬레이션된 데이터(SIMULATE 사용)와 실제 데이터를 비교함으로써 예측 검증을 지원하며, 명시적 가설 검정 없이도 질적 모델 검증이 가능하다.
• 시스템은 모델 간의 베이지안 모델 평균화를 사용하여 다양한 모델의 결과를 통합함으로써, 모델 불확실성이 높을 경우에도 강인한 추론을 보장한다.

실험 결과

연구 질문

• RQ1 베이지안 추론을 위한 쿼리 언어를 SQL만큼 직관적이고 접근하기 쉽게 설계할 수 있을까, 동시에 수학적 엄밀성을 유지할 수 있을까?
• RQ2 다양한 데이터 분석 작업에 적합한 유연성과 통계적 타당성을 동시에 갖춘 기본 확률 모델을 자동으로 생성할 수 있는 방법은 무엇일까?
• RQ3 질적 사전 지식과 도메인 제약 조건을 얼마나 잘 표현할 수 있을까? 이는 깊은 통계 전문 지식 없이도 모델 신뢰성을 향상시킬 수 있도록 하는가?
• RQ4 확률적 추론을 모델 명시와 분리하여, 사용자가 모델 구축 방법을 이해하지 않더라도 데이터 영향에 대해 추론할 수 있도록 할 수 있을까?
• RQ5 통합 시스템이 자동 모델 빌드와 전문가의 맞춤 설정을 동시에 지원함으로써 확장 가능하고 유연한 통계 분석을 가능하게 할 수 있을까?

주요 결과

• BayesDB는 사용자가 확률 모델을 처음부터 직접 작성하지 않더라도, 간단한 고수준 쿼리 언어를 통해 결측치 보정, 상관관계 탐지, 가상 인구 시뮬레이션과 같은 복잡한 베이지안 데이터 분석을 수행할 수 있도록 한다.
• 시스템의 기본 반정적 메타모델은 요인 분석 혼합 모델의 앙상블을 생성하여 데이터 정제 및 탐색을 위한 강인한 즉시 사용 가능한 기본 모델을 제공한다.
• 암시적 모델 공간을 기반으로 한 베이지안 모델 평균화를 통해 BQL는 모델 불확실성에 강건하고 과적합을 방지하는 통계적으로 엄밀한 결과를 제공한다.
• MML의 통합을 통해 전문가들은 맞춤형 통계 모델과 알고리즘 구성 요소를 시스템에 확장할 수 있으며, 자동화된 추론과 전문가가 설계한 추론을 조합한 하이브리드 모델링을 가능하게 한다.
• SIMULATE를 사용한 시뮬레이션된 데이터 기반 예측 검증은 전통적인 가설 검정을 대체하는 실용적인 질적 모델 검증 방법을 제공한다.
• 시스템은 고수준 인터페이스를 통해 확률 프로그래밍을 비통계학자에게도 접근 가능하게 하였으며, 同시에 고급 맞춤 설정과 엄밀한 추론을 지원함을 입증하였다.