[論文レビュー] Fast Gibbs Sampling on Bayesian Hidden Markov Model with Missing Observations

Dongrong Li, Tianwei Yu+1 more|arXiv (Cornell University)|Jan 4, 2026

Bayesian Methods and Mixture Models被引用数 0

ひとこと要約

collapsed Gibbs sampler for HMMs with missing data を解析的に欠損観測と潜在状態を周辺化して導入し、特に欠損が多い場合に収束を早め、1回あたりの計算量を低減

ABSTRACT

The Hidden Markov Model (HMM) is a widely-used statistical model for handling sequential data. However, the presence of missing observations in real-world datasets often complicates the application of the model. The EM algorithm and Gibbs samplers can be used to estimate the model, yet suffering from various problems including non-convexity, high computational complexity and slow mixing. In this paper, we propose a collapsed Gibbs sampler that efficiently samples from HMMs' posterior by integrating out both the missing observations and the corresponding latent states. The proposed sampler is fast due to its three advantages. First, it achieves an estimation accuracy that is comparable to existing methods. Second, it can produce a larger Effective Sample Size (ESS) per iteration, which can be justified theoretically and numerically. Third, when the number of missing entries is large, the sampler has a significant smaller computational complexity per iteration compared to other methods, thus is faster computationally. In summary, the proposed sampling algorithm is fast both computationally and theoretically and is particularly advantageous when there are a lot of missing entries. Finally, empirical evaluations based on numerical simulations and real data analysis demonstrate that the proposed algorithm consistently outperforms existing algorithms in terms of time complexity and sampling efficiency (measured in ESS).

研究の動機と目的

• 現実世界の時系列データにおける欠損観測を伴うHMM推定の課題を動機づける。
• 欠損データとそれに対応する潜在状態を周辺化して効率を改善するcollapsed Gibbsサンプラを開発する。
• 収束性と計算量を分析し、高い欠損率領域での利点を示す。
• シミュレーションと実データから、方法が既存手法よりも速度とESSで優れている実証的証拠を提供する。

提案手法

• 観測不能な欠損性を仮定した不完全系列のHMM推定をベイズ的に定式化する。
• 欠損観測とそれに対応する潜在状態を解析的に積分してcollapsed joint distributionを導出する。
• 観測された状態系列の前向き・後向きサンプリングを用いた p(theta, y_o, z_o) を対象とするcollapsed Gibbsサンプラーを提案する。
• collapsed model上での前向き後向き手順により、欠損ゾーンのz_oを効率的にサンプリングし、時間計算量を O((1-p)NT) とする。
• 共役事前分布が利用可能な場合、Aと pi の更新にはMetropolis-within-Gibbs法、放出行列 B にはDirichletサンプリングを適用する。
• Algorithm 1 (Forward-Backward Sampling of z_o) および Algorithm 2 (Collapsed Gibbs Sampling for HMMs with Incomplete Observations) を提供する。

実験結果

リサーチクエスチョン

• RQ1 HMMs における欠損観測を解析的に統合してサンプリング効率を向上させるにはどうすべきか。
• RQ2 欠損データがHMMのGibbsサンプラの収束速度に与える影響はどのようか。
• RQ3 高い欠損率領域で、collapsed posteriorサンプラーは既存手法より低い1回あたりの計算量および高いESSを達成できるか。
• RQ4 欠損HMMに対するcollapsed Gibbsアプローチの予測能力と欠測値の補完能力はどうか。

主な発見

• collapsedサンプラーは潜在状態空間が削減されるため従来のGibbsサンプラより収束が速い。
• 前向き・後向きの計算は観測された状態のインデックスに限定され、時間計算量は O((1-p)NT) となる。
• 推定精度は概ね同等を保ちつつ、1回あたりのESSを増大させる。
• Gap(F_c) ≥ Gap(F_m) ≥ Gap(F_g) という理論解析が、collapsedアプローチの方が収束が速いことを示す。
• シミュレーションと実データで、欠損が多い状況で時間効率とサンプリング性能の改善を実証。