[論文レビュー] Bayesian group latent factor analysis with structured sparsity

Shiwen Zhao, Chuan Gao+2 more|arXiv (Cornell University)|Nov 11, 2014

Gene expression and cancer classification参考文献 82被引用数 5

ひとこと要約

本稿では、要因負荷を3段階（要素単位、列単位、グループ間）で正則化することで、複数の結合されたデータ行列の共同解析を可能にする構造的スパarsityを備えたベイジアングループ要因分析モデルを提案する。この手法により、スパースおよび密度の高い潜在的要因の回復が可能となる。パラメータ拡張EMを用いることでMAP推定が安定し、高次元のゲノムデータおよびドキュメントデータにおける構造的分散の検出において優れた性能を示す。

ABSTRACT

Latent factor models are the canonical statistical tool for exploratory analyses of low-dimensional linear structure for an observation matrix with p features across n samples. We develop a structured Bayesian group factor analysis model that extends the factor model to multiple coupled observation matrices; in the case of two observations, this reduces to a Bayesian model of canonical correlation analysis. The main contribution of this work is to carefully define a structured Bayesian prior that encourages both element-wise and column-wise shrinkage and leads to desirable behavior on high-dimensional data. In particular, our model puts a structured prior on the joint factor loading matrix, regularizing at three levels, which enables element-wise sparsity and unsupervised recovery of latent factors corresponding to structured variance across arbitrary subsets of the observations. In addition, our structured prior allows for both dense and sparse latent factors so that covariation among either all features or only a subset of features can both be recovered. We use fast parameter-expanded expectation-maximization for parameter estimation in this model. We validate our method on both simulated data with substantial structure and real data, comparing against a number of state-of-the-art approaches. These results illustrate useful properties of our model, including i) recovering sparse signal in the presence of dense effects; ii) the ability to scale naturally to large numbers of observations; iii) flexible observation- and factor-specific regularization to recover factors with a wide variety of sparsity levels and percentage of variance explained; and iv) tractable inference that scales to modern genomic and document data sizes.

研究の動機と目的

• 従来の要因モデルが不定性のため失敗する高次元でマルチソースのデータにおいて、低次元の潜在的構造を同定する課題に対処すること。
• 複数の観測行列にわたる要因負荷における構造的スパarsityを可能にするベイジアンフレームワークを開発すること。これにより、要素単位および列単位のスhrinkageが可能となる。
• 標準的線形相関分析およびグループ要因分析を、任意の観測サブセットにおける構造的分散を扱えるように拡張し、解釈可能性とスケーラビリティを向上させること。
• 要因ごとのスパarsityレベルや分散寄与度に応じて柔軟に正則化できる仕組みを提供し、密度の高いおよびスパースな潜在的成分の両方をサポートすること。
• パラメータ拡張EMを用いることで、現代のゲノムおよびドキュメントデータセットにスケーリング可能な計算的に実行可能な推論手法を提供すること

提案手法

• 要因負荷行列の共同事前分布に構造的スパarsityを導入し、要素単位、列単位、観測グループ間の3段階でスパarsityを誘導する。
• 混合成分を用いた階層的事前分布構造を採用し、密度の高いおよびスパースな潜在的要因の両方を可能にすることで、すべての特徴量または部分集合での共変動の回復が可能となる。
• パラメータ拡張期待最大化（PX-EM）を用い、パラメータ更新の分離を図り収束性を向上させる。要因負荷と要因推定の結合性を低減するため、正定値行列Rによる再パラメータライゼーションを実施する。
• 共役事前分布を用いて、ノイズの精度、要因負荷、スパarsityインジケータを含むすべてのハイパーパrameterの閉形式の事後更新式を導出する。
• 共分散行列Rのコレスキー分解を用い、最適化中の正定値性の維持と数値的安定性を確保する。
• Λ = Λ*RLによる変換により、拡張されたパラメータ空間を元のモデルに戻す。尤度を保持しつつ、混合性と収束性を向上させる

実験結果

リサーチクエスチョン

• RQ1 構造的スパarsityを備えたベイジアングループ要因モデルは、高次元でマルチオミックスまたはマルチモーダルなデータにおいて、スパースおよび密度の高い潜在的要因を効果的に回復できるか？
• RQ2 要素単位、列単位、グループ単位の各レベルにおける構造的スパarsityは、標準的要因モデルと比較して、潜在的要因検出の解釈可能性と正確性をどの程度向上させるか？
• RQ3 本手法は、数千のサンプルおよび特徴量を含む大規模データセットに対し、どの程度スケーリング可能であり、計算的に実行可能であるか？
• RQ4 パラメータ拡張EMアルゴリズムは、高次元設定下で初期値が悪い場合にも、標準EMよりも収束速度が速く、ロバスト性に優れているか？
• RQ5 本モデルは、事前に構造を知らなくても、特定のオミックス層やドキュメントタイプなどの任意の観測サブセットにおける構造的分散を検出できるか？

主な発見

• シミュレーションデータにおいて、密度の高い効果が存在する中でも、スパース信号を効果的に回復でき、混合信号タイプに対してロバストであることが示された。
• 本手法は、サンプル数が増加しても自然にスケーリング可能であり、最大10,000サンプルおよび10,000特徴量を含むデータセットにおいても推論性能が実行可能である。
• 観測および要因ごとの柔軟な正則化により、多様なスパarsityパターンと異なる分散寄与率を持つ潜在的要因の回復が可能となった。
• PX-EMによる実行可能な推論により、本モデルは現代のゲノムおよびドキュメントデータサイズにスケーリング可能であり、シミュレーションおよび実データベンチマークにおいて、複数の最先端手法を上回る性能を示した。
• 構造的事前分布により、任意の観測サブセットにおける構造的分散に対応する潜在的要因の非監視的発見が可能となり、解釈性が向上した。
• 実験的結果から、特に高次元でスパースな設定下において、標準的CCA、BCCA、GFA手法と比較して、真の潜在的要因を識別する精度がより高いことが示された。