[論文レビュー] CrossCat: a fully Bayesian nonparametric method for analyzing heterogeneous, high dimensional data

Vikash K. Mansinghka, Patrick Shafto+4 more|arXiv (Cornell University)|Jan 1, 2016

Bayesian Methods and Mixture Models参考文献 47被引用数 12

ひとこと要約

CrossCat は、非パラメトリック混合モデルを用いて複数の重複のないビューを推論することで、異種で高次元なデータを完全ベイズ的かつ非パラメトリックに分析する手法である。スケーラブルなギブスサンプリングを用いることで、最大 1000 万セルのデータセットにおいて、最先端の手法と同等の予測精度を達成し、分野知識と整合する構造を捉えている。

ABSTRACT

There is a widespread need for statistical methods that can analyze high-dimensional datasets without imposing restrictive or opaque modeling assumptions. This paper describes a domain-general data analysis method called CrossCat. CrossCat infers multiple non-overlapping views of the data, each consisting of a subset of the variables, and uses a separate nonparametric mixture to model each view. CrossCat is based on approximately Bayesian inference in a hierarchical, nonparametric model for data tables. This model consists of a Dirichlet process mixture over the columns of a data table in which each mixture component is itself an independent Dirichlet process mixture over the rows; the inner mixture components are simple parametric models whose form depends on the types of data in the table. CrossCat combines strengths of mixture modeling and Bayesian network structure learning. Like mixture modeling, CrossCat can model a broad class of distributions by positing latent variables, and produces representations that can be efficiently conditioned and sampled from for prediction. Like Bayesian networks, CrossCat represents the dependencies and independencies between variables, and thus remains accurate when there are multiple statistical signals. Inference is done via a scalable Gibbs sampling scheme; this paper shows that it works well in practice. This paper also includes empirical results on heterogeneous tabular data of up to 10 million cells, such as hospital cost and quality measures, voting records, unemployment rates, gene expression measurements, and images of handwritten digits. CrossCat infers structure that is consistent with accepted findings and common-sense knowledge in multiple domains and yields predictive accuracy competitive with generative, discriminative, and model-free alternatives.

研究の動機と目的

• 制限的または不透明なモデリング仮定を伴わない統計的手法による高次元データの分析のニーズに対応すること。
• 混合データ型と複雑な依存関係を有する異種の表形式データセットにおいて、頑健な推論を可能にすること。
• 混合モデルとベイジアンネットワーク構造学習の長所を組み合わせ、正確な表現と予測を実現する手法の開発。
• 未知の構造と次元数を持つデータを扱える完全ベイズ的かつ非パラメトリックなアプローチの提供。
• 実世界のデータセット（最大 1000 万セル）に対してスケーラビリティと実用性を確保すること。

提案手法

• CrossCat は、列ごとにディリクレ過程混合モデルを用いた階層的非パラメトリックベイズモデルでデータテーブルをモデリングする。
• 各列の混合成分は、行の上での独立なディリクレ過程混合モデルであり、データ型に応じてパrametricな成分が調整される。
• この手法は、共通の条件付き依存関係を持つ変数のサブセットを表す複数の重複しないビューを推論する。
• スケーラブルなギブスサンプリング方式を用いて近似ベイズ推論を実行し、大規模データセットへの実用的応用を可能にする。
• モデルは変数間の条件付き独立および依存構造を捉え、ベイジアンネットワークに類似した構造を表現する。
• 予測推論は、観測された変数を条件として、事後予測分布からのサンプリングによって実行される。

実験結果

リサーチクエスチョン

• RQ1 完全ベイズ的かつ非パラメトリックな手法が、強いパラメトリック仮定を伴わずに高次元で異種のデータを効果的にモデリングできるか。
• RQ2 CrossCat が、医療、社会科学、ゲノム分野など多様な分野において、意味のある解釈可能なデータ構造をどれほど正確に推論できるか。
• RQ3 生成的・判別的・モデルフリーなアプローチと比較して、CrossCat が予測精度でどれほど優れているか、または同等の性能を示せるか。
• RQ4 CrossCat が、最大 1000 万セルの大きなデータセットにおいても、正確性と解釈可能性を維持しながらスケーラブルに動作するか。
• RQ5 複数の統計的シグナルが同時に存在するデータにおいて、CrossCat のビューに基づく分解がモデリングの忠実性を向上させるか。

主な発見

• CrossCat は、医療、投票記録、遺伝子発現など多様な分野において、既知の発見や常識的知識と整合するデータ構造を正確に推論している。
• この手法は、高次元で異種のデータセットにおいて、生成的モデルおよび判別的モデルと同等の予測精度を達成している。
• CrossCat はスケーラビリティを示し、ギブスサンプリングを用いて最大 1000 万セルのデータセットを効果的に分析している。
• ビューに基づく分解により、変数のサブセット内の依存関係を分離することで、複数の統計的シグナルの正確なモデリングが可能になった。
• 推論された構造は、病院の質の指標と費用データの間の相関関係など、既知の分野内関係を反映している。
• CrossCat の非パラメトリック性のおかげで、モデルの次元数を事前に指定する必要なく、未知のデータの複雑さに適応できる。