[論文レビュー] Probabilistic Data Analysis with Probabilistic Programming

Feras A. Saad, Vikash K. Mansinghka|arXiv (Cornell University)|Aug 18, 2016

Gaussian Processes and Bayesian Inference参考文献 26被引用数 7

ひとこと要約

本稿では、ベイズ推論、カーネル法、機械学習などの多様な確率的データ解析手法を統合する一貫した計算抽象化である、合成可能な生成的集団モデル（CGPM）を紹介する。BayesDBにおけるモジュラーで合成可能なモデリングを可能にすることで、標準的なライブラリと比較してコード量を約10倍削減しつつ、正確性を維持または向上させた。実世界の人工衛星データおよびベンチマークタスクでその有効性を実証した。

ABSTRACT

Probabilistic techniques are central to data analysis, but different approaches can be difficult to apply, combine, and compare. This paper introduces composable generative population models (CGPMs), a computational abstraction that extends directed graphical models and can be used to describe and compose a broad class of probabilistic data analysis techniques. Examples include hierarchical Bayesian models, multivariate kernel methods, discriminative machine learning, clustering algorithms, dimensionality reduction, and arbitrary probabilistic programs. We also demonstrate the integration of CGPMs into BayesDB, a probabilistic programming platform that can express data analysis tasks using a modeling language and a structured query language. The practical value is illustrated in two ways. First, CGPMs are used in an analysis that identifies satellite data records which probably violate Kepler's Third Law, by composing causal probabilistic programs with non-parametric Bayes in under 50 lines of probabilistic code. Second, for several representative data analysis tasks, we report on lines of code and accuracy measurements of various CGPMs, plus comparisons with standard baseline solutions from Python and MATLAB libraries.

研究の動機と目的

• 現在、別々の形式的定式化とツールに依存している多様な確率的データ解析手法を統合・比較・合成する課題に対処すること。
• 階層ベイズモデル、カーネル密度推定、クラスタリング、次元削減、判別学習など、広範な手法群を、1つの計算抽象化に統一すること。
• 確率的プログラミングプラットフォームBayesDB（モデリング言語と構造化クエリ言語を備える）と統合することで、実用的でスケーラブルかつ合成可能な確率的モデリングを可能にすること。
• 希少な観測を持つ高次元で異種のデータセット、特に人工衛星データの因果モデリングを含む、実世界の高次元で多様なデータに対してフレームワークの有効性を示すこと。
• PythonおよびMATLABにおける標準実装と比較して、CGPMの効率性と正確性の向上を定量的に評価すること。

提案手法

• CGPMを、確率的モデルをカプセル化する計算インターフェースとして定義し、観測可能変数および導出変数の密度評価とサンプリングをサポートする。
• 各CGPMノードが入力／出力変数を備え、条件付き確率と周辺化をサポートする複雑な統計的オブジェクトとして、有向グラフィカルモデルを計算形式へ拡張する。
• パラメトリックおよびノンパラメトリックなベイズモデル、カーネル密度推定器、近隣法、ランダムフォレスト、PCA、因果的確率的プログラムなど、多様なモデル族に対してCGPMを実装する。
• メタモデリング言語（MML）とベイズクエリ言語（BQL）を用いて、BayesDBにCGPMを統合し、ハイブリッドで有向非巡回グラフとしてのモデルの合成を可能にする。
• 新しいMML構文によるJOINに類似した操作と、集団間での転移学習を活用し、階層的および統合された集団モデリングをサポートする。
• 2段階の推論戦略を適用：まず個々のCGPMを別々に学習し、次に複数の補完ネットワークを介した補完とアンサンブル学習により精緻化することで、耐性性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ベイズ推論、カーネル法、機械学習などの多様な確率的データ解析手法を、1つのフレームワーク内で合成可能な一貫した計算抽象化として設計できるか？
• RQ2 BayesDBのような確率的プログラミングプラットフォームは、異種の型と希少な観測を持つ高次元で複雑なデータに対して、合成的でモジュラーかつスケーラブルなモデリングをどのように拡張できるか？
• RQ3 CGPMは、PythonおよびMATLABにおける標準ライブラリ実装と比較して、実装の複雑さ（コード行数）をどの程度削減できるか、正確性の損なわれない範囲で？
• RQ4 CGPMフレームワークは、物理法則（例：ケプラーの第三法則）の違反を検出するような、複雑な依存関係を含む実世界の応用において、どの程度有効であるか？
• RQ5 CGPMインターフェースは、予測分布間のKLダイバージェンスの推定といった、モデルの評価・比較メカニズムをサポートできるか、これにより確率的モデルの標準化されたプロファイリングが可能か？

主な発見

• CGPMは、階層ベイズモデル、ノンパラメトリックベイズ、カーネル密度推定器、判別学習者といった多様な確率的モデルを、1つの合成可能なインターフェース内で実装可能である。
• ベンチマークデータ分析タスクにおいて、PythonおよびMATLABにおける標準実装と比較して、コード量を約10倍削減し、正確性に損なわれることなく性能を維持または向上させた。
• 実世界の人工衛星データ解析において、50行以内の確率的コードで、非パラメトリックベイズ推論と因果的確率的プログラムを合成し、ケプラーの第三法則に違反する可能性のある記録を効果的に同定した。
• CGPMをBayesDBに統合することで、MMLとBQLを介したハイブリッドモデリングが可能となり、ユーザーは一般化された有向非巡回グラフにモデルを合成し、構造化された構文でクエリを実行できる。
• 提案された推論戦略（個別学習の後、補完に基づく精緻化とアンサンブル学習による統合）により、耐性性が向上し、複数の補完を統合することが可能になった。
• CGPMインターフェースは、予測分布間のKLダイバージェンス推定といった、モデルに依存しない評価をサポートしており、確率的モデルの標準化された比較・プロファイリングを可能にした。