[論文レビュー] Order estimation for non-parametric Hidden Markov Models

Luc Lehéricy|arXiv (Cornell University)|Apr 16, 2016

Blind Source Separation Techniques参考文献 14被引用数 3

ひとこと要約

本稿では、非パrametricな隠れマルコフモデルの順序を推定する2つの一貫性のある手法を提案する。1つは、2つの連続する観測の連合分布から得られる行列のランクを推定するものであり、もう1つは罰則付き最小二乗基準を用いるものである。両手法とも、パrameter推定に関して強い一貫性とオラクル不等式を達成し、数値比較により、さまざまなシナリオにおける有効性が示されている。

ABSTRACT

We propose and study two pratically tractable methods to estimate the order of non-parametric hidden Markov models in addition to their parameters. The first one relies on estimating the rank of a matrix derived from the law of two consecutive observations while the second one selects the order by minimizing a penalized least squares criterion. We show strong consistency of both methods and prove an oracle inequality on the least squares estimators of the model parameters. We numerically compare their ability to select the right order in several situations and discuss their algorithmic complexity.

研究の動機と目的

• 非パラメトリックな隠れマルコフモデルにおける順序推定の課題に取り組むこと。ここでは、隠れ状態の数が未知であり、データから推定しなければならない。
• 発生分布のパラメトリックな仮定を必要とせず、同時にモデルの順序とパrameterを推定できる計算的に実行可能な手法を開発すること。
• 提案された推定量に関して、強い一貫性とオラクル不等式を含む理論的保証を確立すること。
• 多様なデータ生成シナリオにおいて、2つの手法の経験的性能とアルゴリズム的複雑性を比較すること。

提案手法

• 最初の手法は、2つの連続する観測の連合分布から構築された行列のランクを計算することで順序を推定する。この手法は、モデルにおけるランクが隠れ状態の数に一致することを利用している。
• 2番目の手法は、罰則付き最小二乗基準を最小化することでモデルの順序を選択する。この基準は、フィットの良さとモデルの複雑さのバランスをとることで過剰適合を回避する。
• 両手法とも、観測データから得られる連合観測分布の経験的推定値を用いて実用的に実装可能であるように設計されている。
• 理論的分析により、弱い正則性条件のもとで順序推定量の強い一貫性が確立されている。
• パラメータ推定量の最小二乗推定量に関して、オラクル不等式が導出されており、これは推定誤差が真の順序が既知の最良のモデルに近い性能を示していることを示している。
• 両手法は合成データ上で数値的に評価され、順序選択の正確さと計算効率の観点から比較されている。

実験結果

リサーチクエスチョン

• RQ1 2つの連続する観測の連合分布から得られる行列のランクは、隠れマルコフモデルの順序を信頼性高く推定できるか？
• RQ2 罰則付き最小二乗基準を最小化することで、非パラメトリックなHMMにおけるモデル順序の一貫性のある推定量が得られるか？
• RQ3 異なるモデル設定において、2つの提案手法の正確さと計算複雑度はどのように比較できるか？
• RQ4 パラメータ推定量と順序推定量に関して、一貫性やオラクル不等式といった理論的保証はどのようなものとなるか？
• RQ5 どのような条件下で、提案手法は真のモデル順序に対して最適な性能を達成するか？

主な発見

• 行列ランクに基づく手法は、観測分布に関する正則性条件のもとで、隠れマルコフモデルの順序を一貫性のある推定量として提供する。
• 罰則付き最小二乗法も、パラメータ推定誤差に関するオラクル不等式の理論的裏付けのもとで、強い一貫性を持つ順序推定量を提供する。
• 数値実験により、両手法がさまざまなシミュレーション設定において真のモデル順序を効果的に回復することが示された。性能はモデルの複雑さや標本サイズに応じて変動する。
• 有限標本では、罰則付き最小二乗法の方が、ランクに基づく手法に比べてより高い安定性と低い分散を示す傾向にある。
• 両手法のアルゴリズム的複雑度は実行可能であり、ランクに基づく手法は高速であるが、連合分布の推定誤差に対してやや感受性が高くなる可能性がある。
• 理論的結果により、モデル順序が未知で推定されている場合でも、パラメータ推定量がオラクル不等式で定量化された近似的最適性能を達成することが確認された。