[論文レビュー] BayesDB: A probabilistic programming system for querying the probable implications of data

Vikash K. Mansinghka, Richard Tibbetts+3 more|arXiv (Cornell University)|Dec 15, 2015

Bayesian Modeling and Causal Inference参考文献 3被引用数 22

ひとこと要約

BayesDB は、確率的プログラミングシステムを提供し、非専門家が SQL に似たクエリ言語（BQL）を用いて、ベイズモデル平均を介して自動的にモデル選択と推論を管理することで、きめ細やかなベイズ推論を可能にする。MML（メタモデリング言語）、セミパラメトリックなモデル生成器、生成的集団モデルインターフェースを組み合わせることで、統計的複雑性を抽象化し、最小限の統計的専門知識で確率的データの意味をクエリ可能にしながらも、数学的厳密性を維持する。

ABSTRACT

Is it possible to make statistical inference broadly accessible to non-statisticians without sacrificing mathematical rigor or inference quality? This paper describes BayesDB, a probabilistic programming platform that aims to enable users to query the probable implications of their data as directly as SQL databases enable them to query the data itself. This paper focuses on four aspects of BayesDB: (i) BQL, an SQL-like query language for Bayesian data analysis, that answers queries by averaging over an implicit space of probabilistic models; (ii) techniques for implementing BQL using a broad class of multivariate probabilistic models; (iii) a semi-parametric Bayesian model-builder that auomatically builds ensembles of factorial mixture models to serve as baselines; and (iv) MML, a "meta-modeling" language for imposing qualitative constraints on the model-builder and combining baseline models with custom algorithmic and statistical models that can be implemented in external software. BayesDB is illustrated using three applications: cleaning and exploring a public database of Earth satellites; assessing the evidence for temporal dependence between macroeconomic indicators; and analyzing a salary survey.

研究の動機と目的

• 非統計的専門家が、手法的品質を損なうことなく、きめ細やかなベイズ統計的推論を容易にアクセスできるようにすること。
• 高水準なクエリ言語と自動モデル構築を通じて、確率的モデリングと推論の複雑性を抽象化すること。
• ユーザーがデータの探索、クリーニング、データに関する推論を、仮想的なデータのシミュレーション、推論、推定を含む確率的クエリを使って行えるようにすること。
• メタモデリング言語（MML）を介して、自動ベースラインモデリングと専門家によるカスタマイズを両立させること。
• 統計的モデリングとデータ分析タスクを分離する統一されたシステムを提供し、SQL がデータ取得とストレージロジックを分離するのと同様の仕組みを実現すること。

提案手法

• BQL（ベイズクエリ言語）は、SIMULATE、INFER、ESTIMATE 操作を用いて、暗黙の確率的モデル空間全体にわたる平均化を通じてベイズ推論を実行するクエリを可能にする。
• 生成的集団モデル（GPM）のための数学的インターフェースを用いて、任意の条件付き分布からのシミュレーションと多次元データ上での密度計算を可能にする。
• セミパラメトリックなベイズメタモデルは、自動的に因子混合モデルのアンサンブルを生成し、データの探索やクリーニングのためのデフォルトのベースラインモデルとして機能する。
• MML（最小限の確率的プログラミング言語）は、統計学者がカスタムモデルを埋め込み、条件付き独立性のような定性的な制約を課し、自動モデル生成器と統合できるようにする。
• 合成データの生成（SIMULATE を使用）と実データの比較を通じて予測チェックを実施し、明示的な仮説検定を必要とせずに定性的なモデル妥当性を評価できる。
• ベイズモデル平均を用いて、複数のモデルの結果を統合することで、モデルの不確実性が高くなっても、頑健な推論を保証する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ推論用のクエリ言語を、SQL ほど直感的かつアクセスしやすく設計できるか、同時に数学的厳密性を保てるか。
• RQ2 多様なデータ分析タスクに適した、柔軟かつ統計的に妥当なベースライン確率的モデルを、システムが自動的に生成できるか。
• RQ3 定性的な事前知識やドメイン制約を、統計的専門知識がほとんど不要な状態で、モデルの信頼性を向上させる形で表現できるか。
• RQ4 確率的推論をモデル定義から分離することで、ユーザーがモデル構築の仕組みを理解しなくても、データの意味を推論できるようにできるか。
• RQ5 統一されたシステムが、自動モデル生成と専門家によるカスタマイズを両立させられ、スケーラブルかつ拡張可能な統計的分析を可能にするか。

主な発見

• BayesDB は、確率的モデルをからだで書く必要なく、単純で高水準なクエリ言語を用いて、欠損値の補完、依存関係の検出、仮想的な集団のシミュレーションといった、複雑なベイズデータ分析を実行可能にする。
• システムのデフォルトのセミパラメトリックメタモデルは、データクリーニングと探索のための強力な、即戦力のベースラインとしての因子混合モデルのアンサンブルを生成する。
• 暗黙のモデル空間全体にわたるベイズモデル平均を用いることで、BQL はモデル不確実性に強く、過剰適合を回避する統計的に厳密な結果を提供する。
• MML の統合により、専門家がカスタム統計モデルやアルゴリズム的コンponents をシステムに拡張でき、自動化と専門家設計の推論を組み合わせたハイブリッドモデリングを可能にする。
• 合成データ生成（SIMULATE を使用）による予測チェックは、定性的なモデル妥当性評価の実用的手段を提供し、従来の仮説検定を実データとの実証的比較に置き換える。
• このシステムは、高水準インターフェースを通じて確率的プログラミングを非専門家にアクセス可能にできる一方で、高度なカスタマイズと厳密な推論をサポートできることを示している。