[論文レビュー] Distributed Bayesian Varying Coefficient Modeling Using a Gaussian Process Prior

Rajarshi Guhaniyogi, Cheng Li+2 more|arXiv (Cornell University)|Jun 1, 2020

Statistical Methods and Inference参考文献 8被引用数 10

ひとこと要約

本稿では、ガウス過程事前分布を用いて大規模データセットにおけるスケーラブルな推論を可能にする分散型ベイジアン変動係数モデルを提案する。データをサブセットに分割し、データ拡張アルゴリズムを用いた並列MCMCを実行し、Aggregated Monte Carlo（AMC）事後分布により結果を統合することで、最小最大最適な事後分布収束速度を達成するとともに、正確な不確実性評価と計算効率を維持する。

ABSTRACT

Varying coefficient models (VCMs) are widely used for estimating nonlinear regression functions for functional data. Their Bayesian variants using Gaussian process priors on the functional coefficients, however, have received limited attention in massive data applications, mainly due to the prohibitively slow posterior computations using Markov chain Monte Carlo (MCMC) algorithms. We address this problem using a divide-and-conquer Bayesian approach. We first create a large number of data subsamples with much smaller sizes. Then, we formulate the VCM as a linear mixed-effects model and develop a data augmentation algorithm for obtaining MCMC draws on all the subsets in parallel. Finally, we aggregate the MCMC-based estimates of subset posteriors into a single Aggregated Monte Carlo (AMC) posterior, which is used as a computationally efficient alternative to the true posterior distribution. Theoretically, we derive minimax optimal posterior convergence rates for the AMC posteriors of both the varying coefficients and the mean regression function. We provide quantification on the orders of subset sample sizes and the number of subsets. The empirical results show that the combination schemes that satisfy our theoretical assumptions, including the AMC posterior, have better estimation performance than their main competitors across diverse simulations and in a real data analysis.

研究の動機と目的

• 大規模データセットにおけるガウス過程事前分布を伴う変動係数モデル（VCM）のMCMCベースのベイジアン推論における計算不能性を解消すること。
• データ分割にもかかわらず事後分布の正確さと不確実性評価を維持するスケーラブルな分散型ベイジアンフレームワークを構築すること。
• ガウス過程事前分布の現実的な滑らかさ仮定の下で、統合事後分布の理論的収束速度を導出すること。
• 多変量ガウス過程事前分布の滑らかさパラメータに基づいて、サブセットサイズとサブセット数の実用的指針を提供すること。

提案手法

• 計算を並列化するために、全データセットを重複のないk個のサブセットに一様抽出（復元なし）で分割する。
• 各サブセットでの事後分布サンプリングを容易にするために、VCMを線形混合効果モデルに再定式化する。
• 各サブセット事後分布が真の事後分布の有効な近似となるように、尤度を修正するDAタイプのアルゴリズムを用いる。
• すべてのサブセットからのMCMCサンプルを1つの整合的な事後分布に統合するAggregated Monte Carlo（AMC）アルゴリズムを開発する。
• 理論的分析により、変動係数および平均回帰関数の両方における最小最大最適な事後分布収束速度を導出する。
• 多変量ガウス過程事前分布の滑らかさパラメータvと次元dに基づき、サブセット標本サイズとサブセット数の最適な順序を特定する。

実験結果

リサーチクエスチョン

• RQ1 分割統治型ベイジアンアプローチは、ガウス過程事前分布を伴う分散型VCMで最小最大最適な事後分布収束速度を達成できるか？
• RQ2 計算効率と統計的正確さのバランスをとるために、サブセット数とサブセットサイズはどのように選ぶべきか？
• RQ3 AMC事後分布統合手法は、競合手法と比較して有効な不確実性評価を維持し、平均二乗誤差を低減するか？
• RQ4 DAタイプのアルゴリズムにおけるサブセット事後分布近似の正確さの理論的根拠は何か？
• RQ5 AMC事後分布の収束速度は、基礎となるガウス過程の滑らかさとインデックス空間の次元にどのように依存するか？

主な発見

• 適切な滑らかさ条件の下で、AMC事後分布は変動係数および平均回帰関数の両方で最小最大最適な事後分布収束速度を達成する。
• 理論的分析により、収束速度が $ n^{-2v/(2v+d)} $ のオーダーであることが示され、ガウス過程事前分布を用いた非パラメトリック回帰の最小最大レートと一致する。
• 実験結果により、AMCに基づく統合手法は、競合手法と比較して信頼区間が短く、有効サンプルサイズが高く、平均二乗誤差が低いことが示された。
• 多様なシミュレーションと実データにおいて、AMC手法はより良好な名目上の被覆確率を維持しており、不確実性評価の強固さを確認した。
• 本手法は計算的に効率的であり、データサイズに応じて良好にスケーリングされ、大規模な関数データに対する実用的なベイジアン推論を可能にする。