[論文レビュー] A note on MCMC for nested multilevel regression models via belief propagation

Omiros Papaspiliopoulos, Giacomo Zanella|arXiv (Cornell University)|Apr 20, 2017

Gaussian Processes and Bayesian Inference参考文献 7被引用数 7

ひとこと要約

本稿では、ハイパーパrameterが与えられた回帰係数の高次元ガウス事後分布から正確にサンプリングするために、信念伝播を活用した効率的なマルコフ連鎖モンテカルロ（MCMC）アルゴリズムを提案する。この手法は、パラメータ数に対して線形時間計算量を達成し、階層的構造に跨る線形制約を含む特異な共分散構造をも処理可能である。これは、グラフィカルモデル構造とスパース精度行列の特徴を活用することで実現される。

ABSTRACT

In the quest for scalable Bayesian computational algorithms we need to exploit the full potential of existing methodologies. In this note we point out that message passing algorithms, which are very well developed for inference in graphical models, appear to be largely unexplored for scalable inference in Bayesian multilevel regression models. We show that nested multilevel regression models with Gaussian errors lend themselves very naturally to the combined use of belief propagation and MCMC. Specifically, the posterior distribution of the regression parameters conditionally on covariance hyperparameters is a high-dimensional Gaussian that can be sampled exactly (as well as marginalized) using belief propagation at a cost that scales linearly in the number of parameters and data. We derive an algorithm that works efficiently even for conditionally singular Gaussian distributions, e.g., when there are linear constraints between the parameters at different levels. We show that allowing for such non-invertible Gaussians is critical for belief propagation to be applicable to a large class of nested multilevel models. From a different perspective, the methodology proposed can be seen as a generalization of forward-backward algorithms for sampling to multilevel regressions with tree-structure graphical models, as opposed to single-branch trees used in classical Kalman filter contexts.

研究の動機と目的

• 大規模なネスト型多層回帰モデルにおけるベイズ推論のスケーラビリティ課題に対処すること。
• ハイパーパrameterを条件とする回帰係数の事後分布に対する正確なサンプリングアルゴリズムの開発。
• 階層モデルにおける線形制約から生じる条件付き特異ガウス分布を扱えるように信念伝播を拡張すること。
• 信念伝播とスパース線形代数を統合した、効率的な事後分布計算を統合する包括的計算フレームワークの提供。
• 混合効果モデルをネスト型多層構造の特殊ケースとして扱うことで、本手法の適用可能性を示すこと。

提案手法

• 変数ノードと要因ノードを有する因子グラフを用いて、回帰パラメータの結合事後分布をガウスグラフィカルモデルとして表現する。
• 因子グラフ上で前向き・後向きメッセージパッシングを適用し、正確な周辺分布を計算するとともに、全事後分布からのサンプリングを実行する。
• ノード間を伝播する十分統計量のメッセージパッシング式を導出する。ここでは、条件付き密度の積分と到着メッセージの積を用いる。
• 非可逆な事前共分散行列に対処するため、ガウス分布の正準パrameter化を用いることで、線形制約下でも正確な計算を可能にする。
• 潜在ガウスモデルにおける精度行列のスパarsityを活用し、パラメータ数に比例する計算量で効率性を確保する。
• 信念伝播フレームワークを既存のスパース線形代数技術と統合し、精度行列の既知のゼロパターンを活用してコレスキー分解を効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 信念伝播を用いて、ネスト型多層回帰モデルにおける回帰係数の事後分布から正確なMCMCサンプリングが可能か？
• RQ2 事前共分散行列が特異的または制約付きであっても、提案手法がパラメータ数に対して線形時間計算量を維持するか？
• RQ3 信念伝播は、多層回帰モデルにおける階層的レベル間のパラメータの線形依存性をどのように処理できるか？
• RQ4 ガウスグラフィカルモデルを用いた階層的回帰の文脈において、信念伝播、カルマンフィルタリング、スパース線形代数の関係は何か？
• RQ5 混合効果モデルをネスト型多層構造の特殊ケースとして扱うことで、本フレームワークを拡張可能か？

主な発見

• ハイパーパrameterを条件とする回帰係数の事後分布は、高次元ガウス分布であり、信念伝播を用いて正確にサンプリング可能である。
• アルゴリズムはパラメータ数およびデータポイント数に対して線形時間計算量を達成しており、大規模モデルに対してもスケーラブルである。
• 線形制約によって生じるような条件付き特異ガウス分布に対しても、本手法は有効かつ効率的である。
• 信念伝播フレームワークは、構造的事前共分散行列を有するネスト型多層構造として扱うことで、混合効果モデルを効果的に処理できる。
• 本手法は、グラフィカルモデル、信念伝播、スパース線形代数を統合する包括的計算フレームワークを提供する。
• 本研究は、信念伝播とカルマンフィルタリングの明確な関係を確立し、ガウス木モデルにおけるメッセージパッシングがカルマン再帰に相当することを示し、スケーラブルなベイズ推論に広範な影響を持つ。