[論文レビュー] Divide-and-Conquer Bayesian Inference in Hidden Markov Models

Chunlei Wang, Sanvesh Srivastava|arXiv (Cornell University)|May 30, 2021

Markov Chains and Monte Carlo Methods参考文献 47被引用数 4

ひとこと要約

本稿は、独立な観測を仮定する従来の手法の限界を克服するために、従属するデータを扱うための分割統合型ベイズ推論手法を提案する。ブロック単位の予測フィルタを用いて尤度を変更し、Kでスケーリングすることで、サブセットの後方分散が真の後方分布に対して漸近的に一致することを保証する。これにより、1- Wasserstein 距離における理論的保証とともに、標準的な結合アルゴリズムを用いて正確でスケーラブルな後方推論が可能となる。

ABSTRACT

Divide-and-conquer Bayesian methods consist of three steps: dividing the data into smaller computationally manageable subsets, running a sampling algorithm in parallel on all the subsets, and combining parameter draws from all the subsets. The combined parameter draws are used for efficient posterior inference in massive data settings. A major restriction of existing divide-and-conquer methods is that their first two steps assume that the observations are independent. We address this problem by developing a divide-and-conquer method for Bayesian inference in parametric hidden Markov models, where the state space is known and finite. Our main contributions are two-fold. First, after partitioning the data into smaller blocks of consecutive observations, we modify the likelihood for performing posterior computations on the subsets such that the posterior variances of the subset and true posterior distributions have the same asymptotic order. Second, if the number of subsets is chosen appropriately depending on the mixing properties of the hidden Markov chain, then we show that the subset posterior distributions defined using the modified likelihood are asymptotically normal as the subset sample size tends to infinity. The latter result also implies that we can use any existing combination algorithm in the third step. We show that the combined posterior distribution obtained using one such algorithm is close to the true posterior distribution in 1-Wasserstein distance under widely used regularity assumptions. Our numerical results show that the proposed method provides an accurate approximation of the true posterior distribution than its competitors in diverse simulation studies and a real data analysis.

研究の動機と目的

• 従来の分割統合型ベイズ手法が独立データを仮定するというギャップを埋めるために、それを従属するHMMに拡張すること。
• サブセット間で漸近的分散構造を保つように尤度を修正し、有効な後方分布近似を保証すること。
• サブセットの後方分布が漸近的に正規分布に従うための理論的条件を確立すること。
• 提案されたブロックフィルタド後方分布が、シミュレートされたデータおよび実データの両方で、既存の分割統合型手法よりも精度と効率に優れていることを実証的に示すこと。
• 大規模なHMM推論において、フルデータMCMCやオンラインEMのスケーラブルな代替手段を提供すること。データ増幅の計算的ボトルネックや確率的手法のチューニングの難しさを回避する。

提案手法

• HMMのデータ系列をK個の連続するブロックに分割し、各ブロックのサイズをm = n/Kとする。これにより並列計算が可能になる。
• 各サブセットに対して、修正された条件付き尤度pθ(Y[j] | Y[j−1])^Kを定義する。ここで、指数Kは欠損データを補償し、漸近的分散構造を保持する。
• 予測フィルタを用いて修正された尤度を計算し、mおよびKが増大する際、真の条件付き尤度と整合的であることを保証する。
• 修正された後方分布π(θ | Y[j], Y[j−1]) ∝ π(θ) × [pθ(Y[j] | Y[j−1])]^K を用いて、各サブセットで並列MCMCサンプリングを実行する。
• すべてのサブセットからの後方分布のサンプルを、標準的な結合アルゴリズム（例：Wasserstein距離またはモーメントベース法）を用いて統合する。
• 理論的裏付けは、隠れマルコフ連鎖の混合性に依存し、最適なサブセット数Kを決定する。

実験結果

リサーチクエスチョン

• RQ1 標準的手法が独立性を仮定する中で、分割統合型ベイズ推論を従属するHMMに拡張することは可能か？
• RQ2 各サブセットで尤度をどのように修正すれば、サブセットの後方分散が漸近的に真の後方分散と一致するか？
• RQ3 サブセット数Kとサブセットサイズmにどのような条件下で、サブセットの後方分布が漸近的に正規分布に従うか？
• RQ4 1-Wasserstein 距離の観点から、結合された後方分布は真の後方分布にどの程度近いか？
• RQ5 提案されたブロックフィルタド後方分布は、さまざまな従属構造を持つHMMにおいて、既存の分割統合型およびフル尤度手法よりも精度と計算効率に優れているか？

主な発見

• ブロックフィルタド後方分布は、標準的な正則性条件下で、真の後方分布との1-Wasserstein距離が漸近的に無視できるほど小さくなる。理論的妥当性が保証される。
• 弱い従属性（S=2,3）を示すHMMでは、ブロックフィルタド後方分布はハミルトニアンモンテカルロ（HMC）と同等の精度を達成し、n=10^4およびn=10^5の両方で中央値精度が0.97–0.99に達する。
• 強い従属性（S=5,7）を示すHMMでは、ブロックフィルタド後方分布の中央値精度は0.51–0.68を維持するが、WASP、DPMC、PIEなどの競合手法はほぼ0.00にまで低下し、従属性に対して高いロバストネスを示す。
• データ増幅法（4.53時間）よりも効率的で（2.27–0.70時間）、n=10^5のデータポイントにおいてK=n^{1/3}のときHMCよりも速い（0.70時間）。
• Kが増加するとサブセットサイズが小さくなるため精度は低下するが、すべてのK値およびHMM設定において、競合手法よりも優れた性能を維持する。
• 多様なシミュレーション設定および実データにおいて、本手法はロバストである。後方分布精度の最大モンテカルロ誤差は0.02、実データ解析では0.01である。