[論文レビュー] Bayesian Nonparametric Hidden Semi-Markov Models

Matthew Johnson, Alan S. Willsky|arXiv (Cornell University)|Mar 7, 2012

Military Defense Systems Analysis被引用数 62

ひとこと要約

本稿では、階層的ディリクレ過程（HDP）と明示的状態持続時間モデリングを組み合わせた、柔軟で非パラメトリックなHDP-HMMの拡張版であるベイジアン非パrametricな隠れ半マルコフモデル（HDP-HSMM）を提案する。このモデルは、半マルコフ過程を用いて状態持続時間を明示的にモデル化することで、状態の複雑さと持続時間分布の自動推定を可能にする。階層的ディリクレ過程と明示的持続時間モデリングを統合し、効率的なギブスサンプリングアルゴリズムにより混合性とスケーラビリティを著しく向上させた。その有効性は、合成データおよび実世界の電力分解離データにおいて優れた性能を示している。

ABSTRACT

There is much interest in the Hierarchical Dirichlet Process Hidden Markov Model (HDP-HMM) as a natural Bayesian nonparametric extension of the ubiquitous Hidden Markov Model for learning from sequential and time-series data. However, in many settings the HDP-HMM's strict Markovian constraints are undesirable, particularly if we wish to learn or encode non-geometric state durations. We can extend the HDP-HMM to capture such structure by drawing upon explicit-duration semi-Markovianity, which has been developed mainly in the parametric frequentist setting, to allow construction of highly interpretable models that admit natural prior information on state durations. In this paper we introduce the explicit-duration Hierarchical Dirichlet Process Hidden semi-Markov Model (HDP-HSMM) and develop sampling algorithms for efficient posterior inference. The methods we introduce also provide new methods for sampling inference in the finite Bayesian HSMM. Our modular Gibbs sampling methods can be embedded in samplers for larger hierarchical Bayesian models, adding semi-Markov chain modeling as another tool in the Bayesian inference toolbox. We demonstrate the utility of the HDP-HSMM and our inference methods on both synthetic and real experiments.

研究の動機と目的

• HDP-HMMが厳密なマルコフ性の制約を持つため、非幾何的状態持続時間のモデル化に限界を示す問題に対処する。
• 状態持続時間に関する事前知識を組み込みつつ、状態複雑性のベイジアン非パラメトリック推論を可能にする。
• 半マルコフモデルにおける事後分布推論のための効率的なサンプリングアルゴリズムを開発し、混合性と計算速度を向上させる。
• 既存のHDP-HMM推論技術を半マルコフ設定に拡張し、より大きな階層的モデルへのモジュラー統合を可能にする。
• 合成データおよび実世界の電力信号分解離タスクにおいて、持続時間構造が重要である状況で、モデルの有効性を実証する。

提案手法

• 階層的ディリクレ過程（HDP）事前分布と明示的持続時間を持つ半マルコフモデリングを組み合わせることで、柔軟で非幾何的状態持続時間分布を許容するHDP-HSMMを提案する。
• HDP-HMM手法から適応した2種類のギブスサンプリングアルゴリズム（弱極限サンプラーと直接割り当てサンプラー）を、HSMMに適用する。
• 最初の差分を用いた変化点検出により、候補状態数を削減し、状態系列の再サンプリングを桁違いに高速化する。
• ブロックギブスサンプリングを用いて、状態系列、発生パラメータ、遷移確率、持続時間パラメータをモジュラーに同時に再サンプリングする。
• 共役事前分布と条件付き分布を活用し、すべてのモデルパラメータに対して効率的なフル条件付き更新を実現する。
• 電力分解離における因子型状態空間にモデルを適用し、未知の電力モード数と持続時間パターンを持つ複数デバイスの同時推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン非パラメトリックモデルは、時系列データから状態数とその持続時間分布の両方を効果的に学習できるか？
• RQ2 明示的持続時間を持つ半マルコフモデリングをHDP事前分布と統合することで、柔軟で解釈可能な持続時間事前分布を許容しつつ、非パラメトリックな複雑性を維持できるか？
• RQ3 提案されたHDP-HSMM用ギブスサンプリングアルゴリズムは、既存のHDP-HMMサンプラーと比較してより速い混合性と優れたスケーラビリティを達成するか？
• RQ4 非マルコフ的持続時間構造を示す実世界の時系列データタスクにおいて、HDP-HSMMはHDP-HMMおよびパラメトリックモデルを上回る性能を示せるか？
• RQ5 持続時間分布に関する事前知識を組み込むことで、電力信号分解離や類似応用において性能がどの程度向上するか？

主な発見

• 合成データ（HMMおよびHSMMから生成）において、HDP-HSMMは状態数とその持続時間分布を高速な混合性と正しい基数回復を伴い、正確に学習した。
• 電力信号分解離において、HDP-HSMMはHDP-HMMを著しく上回り、4軒の住宅で中央値として81.5％の精度を達成したのに対し、HDP-HMMは67.2％であった。
• 1号館では、HDP-HSMMが82.1％の精度を達成したのに対し、因子型スティッキーHDP-HMMは69.0％であった。これは、明示的持続時間モデリングの利点を示している。
• 変化点に基づく高速化を施したモデルは、200個の変化点を持つシーケンスあたり0.1秒の推論時間にまで短縮され、実用的なスケーラビリティを実現した。
• 明確に不確実な事前状態数を持つ照明パターンの持続時間の規則性を、HDP-HSMMは正しく捉え、固定パラメータモデルを上回った。
• 可視化比較（図18–19）では、持続時間パターンが非マルコフ的である場合、特に長く安定した電力モードを持つシーケンスにおいて、HDP-HSMMが総電力消費量をよりよく再構築していることが示された。