[論文レビュー] Sparse Linear Identifiable Multivariate Modeling

Ricardo Henao, Ole Winther|arXiv (Cornell University)|Apr 29, 2010

Bayesian Modeling and Causal Inference参考文献 62被引用数 27

ひとこと要約

本稿では、スパイクアンドスレイド事前分布と確率的変数順序付けを用いて、構造、パラメータ、スパarsityの共同推論を可能にする、完全にベイジアンなスパースで識別可能な線形要因モデルおよびベイジアンネットワークモデルのフレームワークであるSLIMを提案する。SLIMは、明示的な単純性と識別可能性を備えることで、合成データおよび生物学的データ上で、LiNGAMと同等またはそれ以上の性能を達成し、解釈可能性が向上する。

ABSTRACT

In this paper we consider sparse and identifiable linear latent variable (factor) and linear Bayesian network models for parsimonious analysis of multivariate data. We propose a computationally efficient method for joint parameter and model inference, and model comparison. It consists of a fully Bayesian hierarchy for sparse models using slab and spike priors (two-component delta-function and continuous mixtures), non-Gaussian latent factors and a stochastic search over the ordering of the variables. The framework, which we call SLIM (Sparse Linear Identifiable Multivariate modeling), is validated and bench-marked on artificial and real biological data sets. SLIM is closest in spirit to LiNGAM (Shimizu et al., 2006), but differs substantially in inference, Bayesian network structure learning and model comparison. Experimentally, SLIM performs equally well or better than LiNGAM with comparable computational complexity. We attribute this mainly to the stochastic search strategy used, and to parsimony (sparsity and identifiability), which is an explicit part of the model. We propose two extensions to the basic i.i.d. linear framework: non-linear dependence on observed variables, called SNIM (Sparse Non-linear Identifiable Multivariate modeling) and allowing for correlations between latent variables, called CSLIM (Correlated SLIM), for the temporal and/or spatial data. The source code and scripts are available from http://cogsys.imm.dtu.dk/slim/.

研究の動機と目的

• 構造、パラメータ、スパarsityの共同推論を可能にする、完全にベイジアンなスパースで識別可能な線形多次元モデルのフレームワークを構築すること。
• LiNGAMなどの既存手法の限界を克服するため、変数順序の確率的探索と明示的な識別可能性制約を組み込むこと。
• 非ガウス型の潜在因子とスパarsity誘導事前分布を備えた階層ベイジアンモデルを用いて、モデル比較と選択を可能にすること。
• ガウス過程事前分布と修正された共分散構造を用いて、非線形および相関のある潜在変数設定に拡張するSNIMおよびCSLIMにより、時系列または空間的データに対応すること。
• マスキングされた尤度と事後予測近似を用いて、欠損データ下でも頑健な推論を可能にすること。

提案手法

• スラブアンドスパイク事前分布（二成分δ関数と連続混合）を用いた階層ベイジアンモデルにより、因子負荷行列のスパarsityを誘導する。
• 複数のDAG構造を探索するために、変数順序の確率的探索を実施し、識別可能性とモデル適合度を向上させる。
• 非ガウス型の潜在因子と、ギブスサンプリングによる完全ベイジアン推論を用いて、混合行列、精度、スパarsityインジケータなどのパラメータを推定する。
• 共役事後分布とメトロポリス・ハスティングス更新を用いて、すべてのパラメータ（$ c_{ij} $, $ au_{ij} $, $ q_{ij} $, $ u_j $, および $ u_j $）の条件付き事後分布を適用する。
• 欠損データへの適応として、マスキング行列 $ f{M}_{ ext{miss}} $ を導入し、尤度を修正して予測密度推定を可能にする。
• ガウス過程事前分布と修正された共分散構造を用いて、非線形依存性（SNIM）および相関のある潜在因子（CSLIM）に拡張する。

実験結果

リサーチクエスチョン

• RQ1 スパイクアンドスレイド事前分布と確率的順序付けを用いた完全ベイジアンフレームワークは、LiNGAMなどの既存手法と比較して、線形多次元モデルにおける識別可能性とスパarsityの向上を図れるか？
• RQ2 変数順序の確率的探索の導入は、高次元スパース要因モデルにおけるモデル選択と性能にどのように影響するか？
• RQ3 明示的な単純性（スパarsityと識別可能性）は、実際の生物学的データにおける解釈可能性と予測精度をどの程度向上させるか？
• RQ4 非線形および相関のある潜在変数モデルに拡張した場合、計算効率と識別可能性を維持できるか？
• RQ5 欠損データの処理において、モデルはどの程度効果的であり、不完全観測下での予測推論の正確性はどの程度か？

主な発見

• SLIMは、計算複雑度がLiNGAMと同等であるにもかかわらず、ベンチマークデータセットにおいて同等またはそれ以上の性能を達成する。
• 確率的探索戦略により、複数の変数順序を探索することで、モデル発見が著しく向上し、識別可能性と構造学習が向上する。
• モデル内での明示的なスパarsityと識別可能性は、特に高次元の生物学的データにおいて、より解釈可能で頑健な要因およびDAG構造をもたらす。
• マスキングされた尤度と事後予測要約を用いて、欠損成分の不確実性を統合することで、欠損データを効果的に処理する。
• 非線形（SNIM）および相関のある因子（CSLIM）への拡張は、時間的・空間的データに適応可能であり、パラメータ再定義によりコア推論機構を容易に再利用できる。
• 人工的および実際の生物学的データセットにおける実証的検証により、真の潜在構造を高い正確性と低い誤発見率で回復できることが確認された。