[論文レビュー] Sparse covariance estimation in heterogeneous samples

Abel Rodríguez, Alex Lenkoski+1 more|arXiv (Cornell University)|Jan 23, 2010

Bayesian Methods and Mixture Models参考文献 46被引用数 6

ひとこと要約

本稿では、無限混合のガウス graphical モデル（GGM）と無限隠れマルコフモデル（iHMM）を用いた、非パrametricベイジアン枠組みを提示する。この枠組みにより、異質な標本におけるスパースな共分散推定が可能となり、ディリクレ過程の事前分布とポリアの urn 表現を活用することで、サブポピュレーションの数とその条件付き独立構造が自動的に推定される。これにより、高次元データにおける非線形的かつ時変的な依存関係の柔軟で解釈可能なモデリングが可能となる。

ABSTRACT

Standard Gaussian graphical models (GGMs) implicitly assume that the conditional independence among variables is common to all observations in the sample. However, in practice, observations are usually collected form heterogeneous populations where such assumption is not satisfied, leading in turn to nonlinear relationships among variables. To tackle these problems we explore mixtures of GGMs; in particular, we consider both infinite mixture models of GGMs and infinite hidden Markov models with GGM emission distributions. Such models allow us to divide a heterogeneous population into homogenous groups, with each cluster having its own conditional independence structure. The main advantage of considering infinite mixtures is that they allow us easily to estimate the number of number of subpopulations in the sample. As an illustration, we study the trends in exchange rate fluctuations in the pre-Euro era. This example demonstrates that the models are very flexible while providing extremely interesting interesting insights into real-life applications.

研究の動機と目的

• すべての観測値に対して均一で線形な条件付き独立構造を仮定する標準的なガウス graphical モデル（GGM）の制限を解消する。
• サブポピュレーションや時間経過に伴い条件付き独立構造が変化する異質な集団をモデル化し、非線形関係を捉える。
• 事前にクラスタ数や隠れ状態数を指定せずに、自動的にその数を推定できる完全ベイジアンで非パラメトリックなアプローチを開発する。
• 高次元データ（遺伝子発現データや金融時系列など）に適した、スパースで解釈可能なグラフィカルモデルを各クラスタや状態ごとに構築可能にする。
• GGMパラメータの周辺化とポリアの urn サンプラーを用いた計算可能で実用的なMCMCフレームワークを提供し、平均や共分散の直接推定を回避する。

提案手法

• 未知のクラスタ数をデータ駆動で許容できるディリクレ過程事前分布を用いた、GGMの無限混合（GGM-DPM）を採用する。
• GGM発生分布を備えた無限隠れマルコフモデル（iHMM）を用い、時間変動する条件付き独立構造をモデル化する。
• ポリアの urn 表現を用いて、1観測ごとにクラスタ割り当てを更新するギブスサンプラーを構築し、GGMの平均と精度行列を周辺化する。
• 濃度パラメータ α₀ と α の効率的サンプリングのための補助変数スキームを適用し、ガンマ分布およびベータ分布による完全条件付き更新を可能にする。
• 可能な限り解析的表現を用いて各クラスタの周辺尤度および予測分布を統合し、非分解可能なグラフに対しては数値近似を用いる。
• 精度行列のスパarsityに起因する条件付き独立性を活用し、各成分ごとにスパースなグラフィカル構造を強制することで、解釈可能性と計算効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立構造がサブポピュレーションごとに異なる異質な多変量データをどのようにモデル化できるか。
• RQ2 非パラメトリックベイジアン枠組みにおいて、潜在的なサブポピュレーション数や隠れ状態数を自動的に推定できるか。
• RQ3 柔軟な非線形関係を許容しつつ、各クラスタにおけるグラフィカルモデルのスパarsityをどのように維持できるか。
• RQ4 未知の成分数を伴う高次元GGMの混合モデルにおいて、効率的な事後分布推論を実現する計算戦略は何か。
• RQ5 無限混合GGMは、為替レートの変動のような多変量時系列データにおける時間変動依存関係をどの程度正確に捉えることができるか。

主な発見

• 提案されたGGM-DPMおよびiHMMフレームワークは、それぞれ固有のスパースな条件付き独立構造を持つ、明確に異なるサブポピュレーションを的確に同定した。
• 非パラメトリック事前分布のおかげで、クラスタ数や状態数が自動的に推定され、モデル選択基準の必要がなくなる。
• ポリアの urn サンプラーとGGMパラメータの周辺化を用いることで、平均や共分散行列の直接サンプリングを回避し、計算負荷が軽減された。
• ユーロ導入前の為替レートデータにおいて、経済ブロック間の相互作用の変化を捉える時間変動依存関係が明確に特定された。
• 周辺尤度および予測分布の数値近似により、非分解可能なグラフへの一般化が可能となった。
• 変数数pが中程度の規模ではスケーラブルであり、ヒューリスティックサーチアルゴリズムを用いることで高次元設定への拡張が見込まれる。