[論文レビュー] Online EM Algorithm for Hidden Markov Models

Olivier Cappé|arXiv (Cornell University)|Aug 17, 2009

Bayesian Methods and Mixture Models参考文献 25被引用数 4

ひとこと要約

本稿では、ストリーミングデータを1回のパスで処理するオンライン期待最大化（EM）アルゴリズムを、隠れマルコフモデル（HMM）に適用する手法を提案する。完全データの十分統計量と、補助再帰に基づく再帰的スムージング手法を組み合わせることで、限界EM写像の定常点への収束を達成し、大標本においてバッチ最尤推定と同等の性能を発揮する。

ABSTRACT

Online (also called "recursive" or "adaptive") estimation of fixed model parameters in hidden Markov models is a topic of much interest in times series modelling. In this work, we propose an online parameter estimation algorithm that combines two key ideas. The first one, which is deeply rooted in the Expectation-Maximization (EM) methodology consists in reparameterizing the problem using complete-data sufficient statistics. The second ingredient consists in exploiting a purely recursive form of smoothing in HMMs based on an auxiliary recursion. Although the proposed online EM algorithm resembles a classical stochastic approximation (or Robbins-Monro) algorithm, it is sufficiently different to resist conventional analysis of convergence. We thus provide limited results which identify the potential limiting points of the recursion as well as the large-sample behavior of the quantities involved in the algorithm. The performance of the proposed algorithm is numerically evaluated through simulations in the case of a noisily observed Markov chain. In this case, the algorithm reaches estimation results that are comparable to that of the maximum likelihood estimator for large sample sizes.

研究の動機と目的

• 過去の観測値を保存せずに逐次的にデータを処理するオンラインパラメータ推定アルゴリズムをHMMに開発すること。
• 有限記憶近似や勾配ベース手法にとどまらない、一般のHMM（連続観測を伴う）を扱えるオンラインEMフレームワークを拡張すること。
• 標準的な確率的近似解析とは異なるため、再帰的アルゴリズムの理論的収束性質を確立すること。
• 大標本条件下で、バッチ最尤推定と同等の推定精度を達成できるかどうかを示すこと。

提案手法

• EMの原則に適合させるために、HMM推定問題を完全データの十分統計量を用いて再パrameter化する。
• ZeitouniとDembo（1988）およびElliottら（1995）にインspiredされた補助再帰に基づく再帰的スムージング手法を用い、オンラインで十分統計量を計算する。
• 時間に依存するステップサイズ列 $ \gamma_k = k^{-1} $ を用いて、パラメータ推定値を再帰的に更新し、弱い条件下でも収束を保証する。
• 過去の観測値を保存せずに、過去および現在のデータに関する条件付き期待値から導かれる再帰的十分統計量を維持することで、全観測系列の保存を回避する。
• HMMのエルゴディシティおよび混合性の性質を活用し、経験的平均が理論的対応物にほとんど確実に収束することを示す。
• 理論的解析により、再帰の極限点が限界EM写像の定常点として特定され、独立データ設定における結果を一般化する。

実験結果

リサーチクエスチョン

• RQ1 有限記憶近似を避けて、一般のHMMに対して再帰的パラメータ更新が可能なオンラインEMアルゴリズムを設計できるか？
• RQ2 大標本条件下で、提案アルゴリズムの収束性はバッチEMアルゴリズムとどのように関係するか？
• RQ3 本アルゴリズムで用いられる再帰的スムージング手法の理論的性質は何か？また、安定性と一貫性を保証する仕組みは何か？
• RQ4 オンラインアルゴリズムは、どの程度までバッチ最尤推定と同等の推定精度を達成できるか？

主な発見

• 提案されたオンラインEMアルゴリズムは、大標本条件下で限界EM写像の定常点にほとんど確実に収束する。これは、バッチEMアルゴリズムの不動点に対応する。
• ノイズが加わったマルコフ連鎖の観測に対して、標本サイズが大きいとき、アルゴリズムはバッチ最尤推定器と同等の推定性能を達成する。
• 再帰的スムージング手法により、過去の観測値を保存せずに十分統計量を正確に計算可能であり、ストリーミングデータに適した。
• 理論的解析により、十分統計量の経験的平均が真のモデル下での期待値にほとんど確実に収束することが示され、一貫性が保証される。
• ステップサイズ列 $ \gamma_k = k^{-1} $ を用いることで、弱い混合性およびモーメント条件のもとで収束が確立され、漸近的収束が保証される。
• アルゴリズムの極限的挙動は、限界対照関数の勾配によって特徴づけられ、正則性条件下では真のパラメータ値で勾配が消える。