[論文レビュー] Detecting Dependencies in Sparse, Multivariate Databases Using Probabilistic Programming and Non-parametric Bayes

Feras A. Saad, Vikash K. Mansinghka|arXiv (Cornell University)|Nov 5, 2016

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、確率的プログラミングと非パrametricベイズ推論を用いて、スパースで高次元なデータベースにおける依存関係をスケーラブルに確率論的に検出する手法を提案する。CrossCatを用いた同時密度推定と、条件付き相互情報量（CMI）を照会するためのベイジアンクエリ言語（BQL）を活用することで、誤検出を抑制しながら文脈特異的な依存関係を効率的に同定する。実世界のマクロ経済および公衆衛生データセット（約35%の欠損値を有する）において、ベースラインを上回る性能を発揮した。

ABSTRACT

Datasets with hundreds of variables and many missing values are commonplace. In this setting, it is both statistically and computationally challenging to detect true predictive relationships between variables and also to suppress false positives. This paper proposes an approach that combines probabilistic programming, information theory, and non-parametric Bayes. It shows how to use Bayesian non-parametric modeling to (i) build an ensemble of joint probability models for all the variables; (ii) efficiently detect marginal independencies; and (iii) estimate the conditional mutual information between arbitrary subsets of variables, subject to a broad class of constraints. Users can access these capabilities using BayesDB, a probabilistic programming platform for probabilistic data analysis, by writing queries in a simple, SQL-like language. This paper demonstrates empirically that the method can (i) detect context-specific (in)dependencies on challenging synthetic problems and (ii) yield improved sensitivity and specificity over baselines from statistics and machine learning, on a real-world database of over 300 sparsely observed indicators of macroeconomic development and public health.

研究の動機と目的

• 高次元でスパースかつ欠損値を含む多変量データベースにおいて、真の予測的関係を検出する課題に対処すること。
• パラメトリックな仮定や線形相関、頻度主義的仮説検定に依存する従来手法の限界を克服すること。
• 多様なデータタイプや欠損値パターンに対応した、条件付き相互情報量（CMI）の不確実性推定のための確率論的整合性のあるフレームワークを提供すること。
• 全ペairワイズテストを実施せずに、SQLに類似したクエリ言語（BQL）を用いてスケーラブルかつインタラクティブに複雑な依存関係を探索すること。
• 線形相関やパラメトリック検定といった標準的手法が見逃す、文脈特異的な依存関係の検出を向上させること。

提案手法

• 異種の変数間の複雑な非線形的依存関係を捉えるために、非パラメトリックベイズモデルであるCrossCatを用い、同時確率モデルのアンサンブルを生成する。
• MCMCによる事後予測分布のモンテカルロ統合を活用し、欠損値が存在する状況下でも、変数サブセット間の条件付き相互情報量（CMI）をベイジアン非パラメトリックモデリングにより推定する。
• CMIに関するクエリを表現するためにベイジアンクエリ言語（BQL）を採用し、モデルグラフにおける構造的独立性を活用することで、不要な計算を回避する最適化を実現する。
• CrossCatのブロック内にディリクレ過程混合モデルを用いることで、過剰適合を防ぎつつ、複雑で不均一分散的かつ非線形的な関係を柔軟にモデル化する。
• CrossCatのモデル構造を統合し、CMIの事後分布を計算することで、p値ではなく完全な不確実性の定量的評価を提供する。
• 構造的独立性が検出された場合に冗長な条件変数を除外することで、探索的分析におけるスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイズアプローチは、線形相関が失敗する高次元でスパースなデータベースにおいて、文脈特異的な依存関係を検出できるか？
• RQ2 本手法は、従来の統計的および機械学習ベースラインと比較して、依存関係検出における感度と特異度の両面で優れているか？
• RQ3 モデルグラフにおける構造的独立性をどれだけ活用してCMI推定の高速化と計算コストの低減が可能になるか？
• RQ4 本手法は、大規模なデータ補完や事前処理を要せず、35%の欠損値が存在する状況でもCMIを信頼性高く推定できるか？
• RQ5 本手法は、貿易および経済指標を含む実世界のデータセットにおいて、既知の因果関係をどれだけ正確に回復できるか？

主な発見

• 線形相関や標準的検定が失敗する合成問題において、本手法は非線形的かつ不均一分散的な関係に対しても頑健であることを示し、文脈特異的な依存関係を効果的に検出できた。
• 300以上の変数と約35%の欠損値を有する実世界のマクロ経済および公衆衛生データベースにおいて、本手法は予測的関係の同定において、ベースライン手法よりも高い感度と特異度を達成した。
• 本手法は、ネット貿易収支、輸出、輸入などの貿易関連変数4つが条件付きで依存していることを同定したが、線形相関では弱い線形相関とノイズのため検出に失敗していた。
• CrossCatは貿易データセットの背後にある因果構造を回復し、輸出および収支を条件付けたことで、輸入と総物品の間の関係が分離されることを示した。これは、事後CMI曲線によって形式化された。
• モデルグラフにおける構造的独立性の活用により、必要に応じてモンテカルロ推定を回避でき、クエリの効率が著しく向上した。
• CMIの事後分布により完全な不確実性の定量的評価が可能となり、二値の仮説検定を超えた原理的で整合性のある推論が可能になった。