[論文レビュー] The Segmented iHMM: A Simple, Efficient Hierarchical Infinite HMM

Ardavan Saeedi, Matthew D. Hoffman+2 more|arXiv (Cornell University)|Feb 20, 2016

Time Series Analysis and Forecasting参考文献 31被引用数 7

ひとこと要約

セグメント化されたiHMM（siHMM）は、2状態のスイッチ機構を用いてレジーム遷移をモデル化することで、時系列セグメンテーションにおける効率的でスケーラブルな推論を可能にする、新しい階層的無限HMMである。iHMMの単純さと階層的HMMのレジーム検出能力を組み合わせ、計算コストを著しく削減しつつ、セグメンテーションタスクで最先端の性能を達成している。

ABSTRACT

We propose the segmented iHMM (siHMM), a hierarchical infinite hidden Markov model (iHMM) that supports a simple, efficient inference scheme. The siHMM is well suited to segmentation problems, where the goal is to identify points at which a time series transitions from one relatively stable regime to a new regime. Conventional iHMMs often struggle with such problems, since they have no mechanism for distinguishing between high- and low-level dynamics. Hierarchical HMMs (HHMMs) can do better, but they require much more complex and expensive inference algorithms. The siHMM retains the simplicity and efficiency of the iHMM, but outperforms it on a variety of segmentation problems, achieving performance that matches or exceeds that of a more complicated HHMM.

研究の動機と目的

• 従来のiHMMが時系列セグメンテーションにおいてハイレベルとローレベルのダイナミクスを区別できないという制限に対処すること。
• iHMMの推論の単純さを維持しつつ、レジーム検出が強力な階層的無限HMMを構築すること。
• 標準的なiHMMを上回り、より複雑な階層的HMMと同等またはそれ以上の性能を達成すること。
• 最適化された計算複雑度を持つ構造化されたメッセージパッシングスキームにより、効率的でスケーラブルな推論を可能にすること。

提案手法

• siHMMは、システムがハイレベルまたはローレベルのダイナミクスレジームにあるかどうかを制御する2状態のスイッチ変数（st）を導入している。
• 隠れ状態と遷移パラメータの事後分布を近似するために、局所的およびグローバル要因を用いた変分推論フレームワークを採用している。
• 前向き後向きメッセージは効率的な行列演算を用いて計算され、総メッセージパッシングコストがT(2K² + 3K)の演算に削減されている。
• 学習率ρを用いたスケーリング更新ルールを採用し、遷移確率と発生分布のグローバル変分パラメータを反復的に更新している。
• q(ω)、q(θ)、q(β)のグローバル要因に対しては、点推定と変分下限に基づく切り捨て勾配更新を用いている。
• 遷移と発生の十分統計量は、変分事後分布の期待値を用いて計算され、効率的なパラメータ更新を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 iHMMの推論効率を維持しつつ、セグメンテーション精度を向上させることを可能にする階層的無限HMMを設計できるか？
• RQ2 スイッチ状態（st）の導入が、時系列におけるレジーム変化検出能力をどのように向上させるか？
• RQ3 siHMMは、著しく低い計算コストで、より複雑な階層的HMMと同等またはそれ以上の性能を達成できるか？
• RQ4 構造化されたメッセージパッシングスキームは、推論のスケーラビリティと実行時間効率にどのような影響を与えるか？

主な発見

• siHMMは、複数のセグメンテーションベンチマークで、より複雑な階層的HMMと同等またはそれ以上の性能を達成している。
• モデルは推論複雑度をO(TK)のメモリとT(2K² + 3K)の演算に低減させ、長時間系列のスケーラブルな処理を可能にしている。
• 2状態のスイッチ機構の使用により、時系列データにおけるハイレベルとローレベルのダイナミクスの効果的な区別が可能になっている。
• スケーリングされたパrameter更新を用いた変分推論フレームワークにより、グローバル要因の安定的かつ効率的な最適化が保証されている。
• β∗に対する切り捨て勾配更新により、最適化中に非負制約が保持されている。