[論文レビュー] A Divide and Conquer Strategy for High Dimensional Bayesian Factor Models

Gautam Sabnis, Debdeep Pati+2 more|arXiv (Cornell University)|Dec 9, 2016

Bayesian Methods and Mixture Models参考文献 18被引用数 4

ひとこと要約

この論文は、標本サイズ $ n $ の代わりに次元 $ p $ を分割する、高次元ベイジアン要因モデルのための新規な分割統治フレームワークを提案する。これにより、複数のコア上で並列計算が可能になる。潜在的要因に階層的構造を導入することで、次元間の依存関係を効率的に捉え、フルモデル推論と比較して数個のオーダーの高速化を達成する。

ABSTRACT

We propose a distributed computing framework, based on a divide and conquer strategy and hierarchical modeling, to accelerate posterior inference for high-dimensional Bayesian factor models. Our approach distributes the task of high-dimensional covariance matrix estimation to multiple cores, solves each subproblem separately via a latent factor model, and then combines these estimates to produce a global estimate of the covariance matrix. Existing divide and conquer methods focus exclusively on dividing the total number of observations $n$ into subsamples while keeping the dimension $p$ fixed. Our approach is novel in this regard: it includes all of the $n$ samples in each subproblem and, instead, splits the dimension $p$ into smaller subsets for each subproblem. The subproblems themselves can be challenging to solve when $p$ is large due to the dependencies across dimensions. To circumvent this issue, we specify a novel hierarchical structure on the latent factors that allows for flexible dependencies across dimensions, while still maintaining computational efficiency. Our approach is readily parallelizable and is shown to have computational efficiency of several orders of magnitude in comparison to fitting a full factor model. We report the performance of our method in synthetic examples and a genomics application.

研究の動機と目的

• 高次元ベイジアン要因モデルにおける後退推論の計算的ボトル neck を解消すること。
• 標本サイズ $ n $ をサブセット化するのではなく、次元 $ p $ を複数のコアに分散させることで、スケーラブルで並列化可能な推論を可能にすること。
• 『統治』段階で次元間の依存関係を保持し、事後分布の不確実性を保つ階層的モデリングフレームワークを開発すること。
• 高次元設定において統計的精度を損なわずに、顕著な計算的効率性の向上を達成すること。

提案手法

• この手法は、次元 $ p $ を互いに排他的なサブセットに分割することで、高次元データをより小さな部分問題に分割し、各コアで独立に処理する。
• 各部分問題では、因子負荷に縮小事前分布を導入することでスパarsityを誘導し、計算の tractability を確保する潜在的要因モデルが採用される。
• 次元間の依存関係をモデル化するため、潜在的要因に二段階の階層的事前分布が導入され、柔軟かつ整合的なグローバル推定を可能にする。
• 事後推論は、$ X_i $, $ Z_i^{(m)} $, $ heta_i^{(m)} $, $ oldsymbol{eta}_j^{(m)} $, $ oldsymbol{ au}_j^{(m)} $, および $ oldsymbol{ ho} $ の条件付き更新を繰り返すギブスサンプラーにより実行され、コア間で情報が共有される。
• グローバル共分散推定は、不確実性と次元間の依存構造を保持する階層的構造を用いて、部分推定を組み合わせることで構築される。
• 各コアが変数のサブセットを処理し、共有事後量を通じて要約統計量を交換するように設計されており、容易に並列化可能である。

実験結果

リサーチクエスチョン

• RQ1 標本サイズ $ n $ の代わりに次元 $ p $ を分割する分割統治戦略は、高次元ベイジアン要因モデルにおけるスケーラブルな推論を達成できるか？
• RQ2 分散フレームワークにおける部分推定の組み合わせ段階で、次元間の依存関係を柔軟にモデリングする方法は何か？
• RQ3 このアプローチは、高次元設定におけるフルモデルMCMC推論と比較して、どの程度の計算的効率性の向上を達成するか？
• RQ4 潜在的要因に導入された階層的事前分布は、事後分布の不確実性と次元間の依存関係を適切に捉えているか？

主な発見

• 提案手法は、フルベイジアン要因モデルをフィットする場合と比較して、数個のオーダーの計算的効率性の向上を達成する。
• 潜在的要因に導入された階層的事前分布により、次元間の依存関係を柔軟にモデリングしつつ、計算の効率性を維持できる。
• この手法は、事後分布の不確実性と統計的忠実性を効果的に保持し、従来の分割統治アプローチで用いられる単純な平均化手法を上回る性能を示す。
• 合成データとゲノム応用における実験結果から、真の共分散構造と因子負荷が正確に回復されていることが示された。
• コア間で共有される事後量を活用することで、ギブスサンプラーは効率的に収束し、スケーラブルな事後推論が可能になる。
• フルモデルMCMCがメモリと計算制約により実行不能になる高次元設定においても、このフレームワークは頑健である。