[論文レビュー] Infinite Structured Hidden Semi-Markov Models

Jonathan H. Huggins, Frank Wood|arXiv (Cornell University)|Jun 30, 2014

Bayesian Methods and Mixture Models参考文献 25被引用数 6

ひとこと要約

本稿では、左から右へのHMMなど構造的遷移を伴う無限隠れマルコフモデルにおける状態滞在時間の明示的モデリングを可能にするベイジアン非パラメトリック枠組み、無限構造的隠れ半マルコフモデル（ISHSMM）を提案する。状態に対して中国レストラン過程（CRP）事前分布を用い、滞在時間にはガンマ-ガンマ共役事前分布を適用することで、事前に状態数を指定せずに未知の変化点と持続的状態滞在時間を自動的に推論可能である。

ABSTRACT

This paper reviews recent advances in Bayesian nonparametric techniques for constructing and performing inference in infinite hidden Markov models. We focus on variants of Bayesian nonparametric hidden Markov models that enhance a posteriori state-persistence in particular. This paper also introduces a new Bayesian nonparametric framework for generating left-to-right and other structured, explicit-duration infinite hidden Markov models that we call the infinite structured hidden semi-Markov model.

研究の動機と目的

• 隠れマルコフモデルにおける未知かつ無限に及ぶ状態基数の課題に対処すること。
• 標準的な無限HMMが急速な状態遷移を生じるという制限を克服し、長期間の状態滞在時間を促進すること。
• 左から右へのHMMを含む、構造的で明示的滞在時間を持つ無限HMMを構築する一般枠組みの開発。
• 固定されたセグメント数を仮定せずに、系列データにおける変化点の非パラメトリック推論を可能にすること。
• 従来のギブスサンプリング手法を拡張した、スケーラブルな推論アルゴリズムの提供。

提案手法

• 無限個の状態に対して中国レストラン過程（CRP）事前分布を用いた生成モデルとして、無限構造的HMM（ISHSMM）を提案する。
• 状態滞在時間の明示的モデリングとして、ガンマ-ガンマ共役事前分布を導入し、持続性を直接制御可能にする。
• 状態遷移を非減少インデックスへの制限により、左から右への順序など構造的遷移制約を実装する。
• 共役事前分布とCRPおよびガンマ-ガンマ階層からの条件付き分布を活用したギブスサンプリングによる後験的推論を実装する。
• 合成データおよび実世界のデータ（石炭鉱山事故件数など）にモデルを適用し、状態、滞在時間、変化点の完全な後験的サンプリングを実施する。
• 観測データの柔軟なモデリングを可能にするディリクレ過程による発生分布への非パラメトリック事前分布を採用する。

実験結果

リサーチクエスチョン

• RQ1 構造的遷移制約を維持しつつ、状態滞在時間を明示的にモデリングできるベイジアン非パラメトリックモデルを構築可能か？
• RQ2 無限HMMを、状態数を固定せずに左から右への遷移やその他の構造的遷移パターンをサポートするように拡張できるか？
• RQ3 ISHSMMは、事前の仮定なしに系列データにおける正しい変化点の数をどの程度自動的に推論できるか？
• RQ4 特に滞在時間率の事前分布のハイパーパrameter選択に対して、モデルはどの程度頑健か？
• RQ5 長期間にわたる持続的状態を有するデータのセグメンテーションにおいて、ISHSMMは標準的な無限HMMを上回る性能を示せるか？

主な発見

• 石炭鉱山事故データセットにおいて、ISHSMMは40年目と100年目ごろに二つの主要な変化点を的確に推論した。これは先行研究と整合的である。
• 合成データにおける後験的推論では、真の状態平均と滞在時間率が高信頼性を伴って正確に回復された。特に最初の4状態において高い後験的信頼度が得られた。
• 最終状態の滞在時間率に対する後験的分布は、終端以降の未観測滞在時間のため、期待通りに高い分散を示した。
• ガンマ事前分布のハイパーパrameter αd に対して、ISHSMMは強い頑健性を示し、20から200の広い範囲のαd値において質的に類似した結果が得られた。
• 明示的滞在時間モデリングにより、急速な状態遷移を効果的に回避し、セグメンテーション品質において標準的な無限HMMを上回った。
• 状態数と変化点数の両方について非パラメトリック推論を可能にし、系列データにおけるセグメント構造の自動発見を実現した。