[論文レビュー] Group Sparse Priors for Covariance Estimation

Benjamin M. Marlin, Mark Schmidt+1 more|arXiv (Cornell University)|May 9, 2012

Statistical Methods and Inference参考文献 11被引用数 26

ひとこと要約

本稿では、ガウス graphical モデルにおける共分散推定のための階層ベイズモデルを提案し、精度行列におけるブロック構造的スパarsityの自動発見を可能にするグループスパース事前分布を用いる。分割関数の上界を用いた変分推論を導出し、モーショングラフとファイナンシャルデータにおいて、固定ブロック構造やベースライン手法を上回る性能を発揮し、未知のグループ構造をより効果的に学習する。

ABSTRACT

Recently it has become popular to learn sparse Gaussian graphical models (GGMs) by imposing l1 or group l1,2 penalties on the elements of the precision matrix. Thispenalized likelihood approach results in a tractable convex optimization problem. In this paper, we reinterpret these results as performing MAP estimation under a novel prior which we call the group l1 and l1,2 positivedefinite matrix distributions. This enables us to build a hierarchical model in which the l1 regularization terms vary depending on which group the entries are assigned to, which in turn allows us to learn block structured sparse GGMs with unknown group assignments. Exact inference in this hierarchical model is intractable, due to the need to compute the normalization constant of these matrix distributions. However, we derive upper bounds on the partition functions, which lets us use fast variational inference (optimizing a lower bound on the joint posterior). We show that on two real world data sets (motion capture and financial data), our method which infers the block structure outperforms a method that uses a fixed block structure, which in turn outperforms baseline methods that ignore block structure.

研究の動機と目的

• 高次元データにおける未知のブロック構造に適応可能な柔軟なベイズフレームワークを、共分散推定のために開発すること。
• 精度行列推定における固定ブロック構造や均一なスパarsityの制限を克服すること。
• 階層的事前分布を用いて、精度行列のエントリに対するグループ割り当てを自動で学習可能にする。
• 提案された行列事前分布における正規化定数が計算不能であるにもかかわらず、実行可能な推論手法を提供すること。

提案手法

• 精度行列のための新しいグループ l1 および l1,2 正定値行列分布を導入し、事前分布として用いる。
• l1 およびグループ l1,2 正則化付き尤度推定を、これらの事前分布におけるMAP推定として再解釈する。
• 正則化強度がグループごとに異なる階層的モデルを構築し、未知のグループ割り当てを学習可能にする。
• 行列事前分布の計算不能な分割関数に対して上界を導出し、変分推論を可能にする。
• 変分推論を用いて、結合事後分布の下界を最適化し、事後分布計算を可能にする。
• 提案手法を用いて、グループ構造の事前知識なしに、ブロック構造的スパースガウス graphical モデルをデータから学習する。

実験結果

リサーチクエスチョン

• RQ1 階層的事前分布モデルは、固定ブロック構造よりも、精度行列における未知のブロック構造をより効果的に学習できるか？
• RQ2 ブロック構造が未知である状況で、グループスパース事前分布の性能は、標準的な l1 正則化手法と比べてどうなるか？
• RQ3 この文脈において、分割関数の上界を用いた変分推論の影響は何か？
• RQ4 提案手法は、高次元共分散推定において意味のあるグループ化を自動で発見できるか？
• RQ5 グループ構造を学習できる能力が、実世界のデータにおけるモデルフィットと予測性能の向上に寄与するか？

主な発見

• データからブロック構造を学ぶ本手法は、モーショングラフおよびファイナンシャルデータの両方において、固定ブロック構造を用いる手法を上回る性能を発揮する。
• ブロック構造を無視する手法は、本手法に劣り、グループ割り当てを学習することの利点を示している。
• 分割関数の上界を用いた変分推論により、正規化定数が計算不能であっても、事後分布の有効な近似が可能になる。
• 学習された構造に基づいてグループごとに正則化強度を適応させるため、より高い共分散推定精度が達成される。
• 実験的結果から、階層的グループスパース事前分布は、データの本質的構造と整合する改善されたモデルフィットとスパースパターンをもたらすことが示された。