[논문 리뷰] Fast Gibbs Sampling on Bayesian Hidden Markov Model with Missing Observations

Dongrong Li, Tianwei Yu외 1명|arXiv (Cornell University)|2026. 01. 04.

Bayesian Methods and Mixture Models인용 수 0

한 줄 요약

결측 데이터가 있는 HMM에 대해 결측 관측치와 그 잠재 상태를 분석적으로 주변화하여 수렴 속도를 높이고 각 반복 복잡도를 낮춘 collapsed Gibbs 샘플러를 도입한다. 특히 결측률이 높을 때 더욱 유리하다.

ABSTRACT

The Hidden Markov Model (HMM) is a widely-used statistical model for handling sequential data. However, the presence of missing observations in real-world datasets often complicates the application of the model. The EM algorithm and Gibbs samplers can be used to estimate the model, yet suffering from various problems including non-convexity, high computational complexity and slow mixing. In this paper, we propose a collapsed Gibbs sampler that efficiently samples from HMMs' posterior by integrating out both the missing observations and the corresponding latent states. The proposed sampler is fast due to its three advantages. First, it achieves an estimation accuracy that is comparable to existing methods. Second, it can produce a larger Effective Sample Size (ESS) per iteration, which can be justified theoretically and numerically. Third, when the number of missing entries is large, the sampler has a significant smaller computational complexity per iteration compared to other methods, thus is faster computationally. In summary, the proposed sampling algorithm is fast both computationally and theoretically and is particularly advantageous when there are a lot of missing entries. Finally, empirical evaluations based on numerical simulations and real data analysis demonstrate that the proposed algorithm consistently outperforms existing algorithms in terms of time complexity and sampling efficiency (measured in ESS).

연구 동기 및 목표

• 실제 순차 데이터에서 결측 관측치를 가진 HMM을 추정하는 문제의 도전을 동기화한다.
• 결측 데이터를 및 관련 잠재 상태를 주변화하여 효율성을 높이는 collapsed Gibbs 샘플러를 개발한다.
• 수렴 및 계산 복잡도를 분석하여 고결측성(regimes)에서의 이점을 보여준다.
• 시뮬레이션 및 실제 데이터의 경험적 증거를 제공하여 기존 접근법보다 속도 및 ESS에서 성능이 우수함을 보인다.

제안 방법

• Ignorable missingness 가정하에 불완전한 시퀀스에 대한 Bayesian 추정을 형식화한다.
• 결측 관측치와 그 잠재 상태를 분석적으로 제거(통합)하여 collapsed 결합 분포를 도출한다.
• 관측된 상태 시퀀스의 순전파-역전파 샘플링으로 p(theta, y_o, z_o)를 대상으로 하는 collapsed Gibbs 샘플러를 제안한다.
• Collapsed 모델에서 z_o를 효율적으로 샘플링하기 위해 시간 복잡도 O((1-p)NT)의 순전파-역전파 절차를 사용한다.
• Conjugate prior가 가능할 때 A와 pi를 업데이트하기 위한 Metropolis-within-Gibbs 스킴과 방출 행렬 B에 대한 Dirichlet 샘플링을 적용한다.
• Algorithm 1 (Forward-Backward Sampling of z_o) 및 Algorithm 2 (Collapsed Gibbs Sampling for HMMs with Incomplete Observations)을 제공한다.

실험 결과

연구 질문

• RQ1 HMM에서 결측 관측치를 분석적으로 통합하여 샘플링 효율을 개선하는 방법은 무엇인가?
• RQ2 HMM에 대한 Gibbs 샘플러의 수렴 속도에 결측 데이터가 미치는 영향은 무엇인가?
• RQ3 고 결측성(regimes)에서 기존 방법보다 per-iteration 복잡도는 낮고 ESS가 더 큰 collapsed posterior 샘플러가 달성 가능한가?
• RQ4 미완전 HMM에 대한 collapsed Gibbs 방법의 예측 및 대체(imputation) 능력은 어떠한가?

주요 결과

• 결합 샘플러는 잠재 상태 공간 축소로 인해 전통적 Gibbs 샘플러보다 수렴 속도가 빠르다.
• 순전파-역전파 계산은 관측된 상태 인덱스에 한정되어 시간 복잡도는 O((1-p)NT)이다.
• 방법은 추정 정확도와 유사하게 유지하면서 반복당 ESS를 증가시킨다.
• 이론적 분석은 Gap(F_c) ≥ Gap(F_m) ≥ Gap(F_g) 를 보여주며, 축소된 접근법이 더 빠르게 수렴한다.
• 시뮬레이션 및 실제 데이터에 대한 경험적 평가에서 결측이 많은 시나리오에서 시간 효율성과 샘플링 성능이 개선된다.