[論文レビュー] Bayesian Low Rank and Sparse Covariance Matrix Decomposition

Lin Zhang, Abhra Sarkar+1 more|arXiv (Cornell University)|Oct 15, 2013

Statistical Methods and Inference参考文献 37被引用数 5

ひとこと要約

本稿では、未知の要因数を伴う要因モデルを用いて、低ランクおよびスparser成分に分解された高次元共分散行列を推定するベイジアン手法を提案する。要因選択のためのバイナリ指標とスパarsityのためのベイジアンラッソを組み合わせることで、シミュレーションにおいて低ランクおよびスパarsity構造を効果的に回復する。この手法は、分解可能なグラフにおけるハイパーアイナーバースドウィッシュト・プライアを用いたグラフィカル要因モデルへと拡張され、一般のグラフにおけるベイジアングラフィカルラッソを用いる。

ABSTRACT

We consider the problem of estimating high-dimensional covariance matrices of a particular structure, which is a summation of low rank and sparse matrices. This covariance structure has a wide range of applications including factor analysis and random effects models. We propose a Bayesian method of estimating the covariance matrices by representing the covariance model in the form of a factor model with unknown number of latent factors. We introduce binary indicators for factor selection and rank estimation for the low rank component combined with a Bayesian lasso method for the sparse component estimation. Simulation studies show that our method can recover the rank as well as the sparsity of the two components respectively. We further extend our method to a graphical factor model where the graphical model of the residuals as well as selecting the number of factors is of interest. We employ a hyper-inverse Wishart prior for modeling decomposable graphs of the residuals, and a Bayesian graphical lasso selection method for unrestricted graphs. We show through simulations that the extended models can recover both the number of latent factors and the graphical model of the residuals successfully when the sample size is sufficient relative to the dimension.

研究の動機と目的

• 高次元共分散行列に低ランク＋スパース構造をもつ安定なベイジアン推定量を開発すること。
• 潜在的要因の数と残差共分散行列のスパースパターンを同時に推定すること。
• 頻度主義の点推定の限界を克服し、ランクおよびスパース推定における不確実性の定量化を可能にすること。
• 両方の要因数と残差の条件付き独立構造が関心対象となるグラフィカル要因モデルへの拡張。
• 共役事前分布とMCMCサンプリングを用いた完全なベイジアンフレームワークの提供。

提案手法

• 低ランク成分 $ L $ を特異値分解 $ L = M D_{\tau} M^T $ で表現する。ここで $ M $ は要因負荷行列、$ D_{\tau} $ は二乗特異値を含む。
• 各潜在的要因に対してバイナリ指標を導入し、自動的な要因選択とランク推定を実現する。
• スパース成分 $ S $ の非対角成分にベイジアンラッソ事前分布を適用し、スパarsityを維持しながら正定値性を保つ。
• グラフィカルモデルが分解可能である場合、残差共分散行列 $ S $ にハイパーアイナーバースドウィッシュト・プライアを用いる。
• 非分解可能なグラフィカルモデルにはベイジアングラフィカルラッソを用い、柔軟な構造学習を可能にする。
• 共役事前分布と行列恒等式を用いてすべてのパラメータのフル条件付き分布を導出し、効率的なMCMCサンプリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン手法は、高次元共分散行列において潜在的要因の数とスパースパターンを同時に推定できるか？
• RQ2 提案手法は、真の低ランク成分のランクと残差共分散行列のスパース構造を正確に回復できるか？
• RQ3 要因数と残差の条件付き独立グラフが未知である場合、グラフィカル要因モデルにおいてこの手法はどの程度の性能を示すか？
• RQ4 バイナリ指標とベイジアンラッソの使用は、頻度主義の正則化手法に比べてより優れた不確実性の定量化を可能にするか？
• RQ5 標本サイズが次元に対して変化する条件下で、この手法の性能はいかがなっているか？

主な発見

• シミュレーション研究において、次元に対して中程度の標本サイズであっても、真の低ランク成分のランクを効果的に回復できた。
• スパース成分は正確に推定され、ベイジアンラッソが残差共分散行列の非対角成分のゼロを効果的に特定した。
• グラフィカル要因モデルにおいて、標本サイズが十分であれば、潜在的要因の数と残差の条件付き独立構造の両方を正しく同定できた。
• ハイパーアイナーバースドウィッシュト・プライアの使用により、分解可能なグラフィカルモデルにおける妥当な事後分布推定と適切な構造学習が可能になった。
• ベイジアンラッソ部は、残差共分散行列に効果的にスパarsityを誘導し、事後包含確率が真のスパース構造と整合した。
• MCMCサンプリングは効率的に収束し、ランクおよびスパースの事後分布は信頼性のある不確実性推定を提供した。