[論文レビュー] Computationally Efficient Distribution Theory for Bayesian Inference of High-Dimensional Dependent Count-Valued Data

Jonathan R. Bradley, Scott H. Holan+1 more|arXiv (Cornell University)|Dec 22, 2015

Statistical Methods and Bayesian Inference参考文献 35被引用数 7

ひとこと要約

本稿は、高次元で相関のあるカウントデータのベイズ推論に計算的に効率的な多変量対数ガンマ分布を導入し、多変量時空間混合効果モデル（MSTM）を用いてスケーラブルな時空間モデリングを可能にする。この手法は、数百万件の観察データを含むデータセットにおいて、MCMC収束が速く、予測が正確であることを示しており、シミュレーションスタディおよび米国国勢調査LEHDデータへの応用を通じて検証されている。

ABSTRACT

We introduce a Bayesian approach for multivariate spatio-temporal prediction for high-dimensional count-valued data. Our primary interest is when there are possibly millions of data points referenced over different variables, geographic regions, and times. This problem requires extensive methodological advancements, as jointly modeling correlated data of this size leads to the so-called "big n problem." The computational complexity of prediction in this setting is further exacerbated by acknowledging that count-valued data are naturally non-Gaussian. Thus, we develop a new computationally efficient distribution theory for this setting. In particular, we introduce a multivariate log-gamma distribution and provide substantial theoretical development including: results regarding conditional distributions, marginal distributions, an asymptotic relationship with the multivariate normal distribution, and full-conditional distributions for a Gibbs sampler. To incorporate dependence between variables, regions, and time points, a multivariate spatio-temporal mixed effects model (MSTM) is used. The results in this manuscript are extremely general, and can be used for data that exhibit fewer sources of dependency than what we consider (e.g., multivariate, spatial-only, or spatio-temporal-only data). Hence, the implications of our modeling framework may have a large impact on the general problem of jointly modeling correlated count-valued data. We show the effectiveness of our approach through a simulation study. Additionally, we demonstrate our proposed methodology with an important application analyzing data obtained from the Longitudinal Employer-Household Dynamics (LEHD) program, which is administered by the U.S. Census Bureau.

研究の動機と目的

• 高次元で相関のあるカウント値データに対するベイズ推論における「big n」問題に対処すること。
• 非ガウス分布のカウントデータに適用される潜在ガウス過程モデルにおけるMCMCサンプリングの計算的非実行可能性を克服すること。
• 大規模な時空間カウントモデルにおけるギブスサンプリングのための効率的フル条件付き分布を可能にする新しい分布理論の構築。
• 複雑な依存構造を有する多変量・空間限定・時空間的カウントデータに一般化可能なフレームワークの提供。
• 米国国勢調査の長期間雇用者・世帯ダイナミクス（LEHD）データへの実世界応用を通じた実用的有効性の提示。

提案手法

• 非ガウス的で高次元のカウントデータに対する共役priorとして、多変量対数ガンマ（MLG）分布を提案する。
• MLGフレームワーク下での周辺分布・条件付き分布・フル条件付き分布の正確な表現を導出し、効率的なギブスサンプリングを可能にする。
• 変数間・空間的・時系列的依存を捉えるために、潜在プロセスをMLG分布でモデル化する多変量時空間混合効果モデル（MSTM）を構築する。
• MCMCアルゴリズムにおける共役性と計算スケーラビリティを確保するため、多変量対数ガンマ（mMLG）分布による再パラメータライゼーションを採用する。
• 分散成分（例：σK, σξ）に離散的priorを適用することで、MCMCにおける高速な計算と収束を実現する。
• シミュレーションおよび実データ設定の両方で予測性能を向上させるために、sMLG（スケーリング済み多変量対数ガンマ）仕様を適用する。

実験結果

リサーチクエスチョン

• RQ1 高次元で相関のあるカウント値データに対する計算的に効率的なベイズ推論を可能にする新しい多変量分布理論を開発できるか？
• RQ2 多変量対数ガンマ分布は、大規模な時空間モデルにおける高速ギブスサンプリングを可能にするフル条件付き分布をどのように支援するか？
• RQ3 MLG事前分布を用いた提案されたMSTMは、標準的な潜在ガウス過程モデルと比較して、MCMC収束性および予測精度の点で優れているか？
• RQ4 アメリカンコミュニティサーベイ（ACS）の貧困推定値のようなスパースまたは欠損データに対しても、このフレームワークは信頼性の高い小地域推定を生成できるか？
• RQ5 モデル仕様（例：sMLG 対 標準MLG）の違いが、予測性能および計算効率に与える影響は何か？

主な発見

• 提案された多変量対数ガンマ分布により、高次元設定における効率的ギブスサンプリングに不可欠なフル条件付き分布の正確な計算が可能になった。
• MLG事前分布を用いたMSTMは、混合が悪く収束が遅いという問題により標準的な潜在ガウス過程モデルが失敗する状況でも、MCMC収束を達成した。
• シミュレーションスタディにおいて、MALA や LAP などの代替チューニング戦略と比較して、予測精度が向上し、収束が速くなった。
• フロリダ州のACS貧困推定値への実データ応用では、95％信用区間が公式の3年間平均推定値と同程度のスケールであり、空間的完全カバレッジが達成された。
• sMLG仕様は、シミュレーションおよび実データ両方の結果から、予測性能を顕著に向上させた。
• MCMC反復あたりの計算コストは1チェーンあたり51秒未満にまで低減され、400万件を超える観察データを含むデータセットに対しても推論が現実可能となった。