[論文レビュー] Non singularity of the asymptotic Fisher information matrix in hidden Markov models

Randal Douc|arXiv (Cornell University)|Nov 25, 2005

Random Matrices and Applications参考文献 14被引用数 4

ひとこと要約

本稿は、おそらく非有限状態空間を有する隠れマルコフモデル（HMM）における漸近的フィッシャー情報行列の正則性の必要十分条件を確立する。無限時間スパンにおけるフィッシャー情報行列の非特異性が、有限観測ブロック行列の非特異性と同値であることを示すことにより、最尤推定量（MLE）の漸近正規性に必要な逆行列性の検証に実用的な基準を提供する。

ABSTRACT

In this paper, we consider a parametric hidden Markov model where the hidden state space is non necessarily finite. We provide a necessary and sufficient condition for the invertibility of the limiting Fisher information matrix.

研究の動機と目的

• 非有限な隠れ状態空間を有するHMMにおける漸近的フィッシャー情報行列の非特異性を検証する課題を解決すること。
• 最尤推定量（MLE）の漸近正規性に不可欠な、極限フィッシャー情報行列の逆行列性を評価する実用的基準を提供すること。
• 無限時間スパンの条件を有限観測ブロック行列の条件に還元することで、理論的要件と実際の検証のギャップを埋めること。
• 非特異性仮定の分析および計算へのアクセス性を高めることで、HMMにおけるMLEの漸近理論を支援すること。

提案手法

• すべての過去観測に依存する解析的に扱いにくい漸近的フィッシャー情報行列 $ I(\theta) = -\mathbb{E}_{\theta}\left(\nabla_{\theta}^{2}\log p_{\theta}(Y_{1}|\mathbf{Y}_{-\infty}^{0})\right) $ を導入する。
• 有限個の観測にのみ依存する有限観測フィッシャー情報行列 $ I_{Y_{1:n}}(\theta) = -\mathbb{E}_{\theta}\left(\nabla_{\theta}^{2}\log p_{\theta}(Y_{1:n})\right) $ を定義する。
• 拡張されたマルコフ連鎖構造に基づくカップリング論法を用いて、モデルの仮定のもとで $ I(\theta) $ と $ I_{Y_{1:n}}(\theta) $ の非特異性が同値であることを確立する。
• 隠れ連鎖の一様エルゴディシティおよび幾何的混合性を活用して、有限および無限の過去に条件づけられたスコア関数の差を制御するカップリング技術を用いる。
• 技術的補題を用いて、スコア関数の $ L^2 $-ノルムの差が、条件付け窓の長さが増加するにつれてゼロに収束することを示す。
• デルタ法およびモーメントバウンドを用いて、真のパラメータ $ \theta^* $ におけるフィッシャー情報行列の収束を制御し、極限の安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 非有限状態空間を有する隠れマルコフモデルにおける漸近的フィッシャー情報行列が非特異となる条件は何か？
• RQ2 無限時間スパンにおけるフィッシャー情報行列の非特異性は、有限観測ブロックの条件に還元可能か？
• RQ3 有限および無限の条件付けにおけるスコア関数の収束が、フィッシャー情報行列の逆行列性にどのように影響するか？
• RQ4 拡張されたマルコフ連鎖の幾何的エルゴディシティが、フィッシャー情報行列の安定性を保証するために果たす役割は何か？
• RQ5 $ I_{Y_{1:n}}(\theta) $ の非特異性が $ I(\theta) $ の非特異性の必要十分条件であるか？

主な発見

• 漸近的フィッシャー情報行列 $ I(\theta) $ の非特異性は、有限観測行列 $ I_{Y_{1:n}}(\theta) $ の非特異性と同値であり、検証に実用的な基準を提供する。
• スコア関数 $ \nabla_{\theta}\log\bar{p}_{\theta^{*}}(\mathbf{Y}_{1}^{n}|\mathbf{Y}_{-k-m}^{-k}) $ と $ \nabla_{\theta}\log\bar{p}_{\theta^{*}}(\mathbf{Y}_{1}^{n}) $ の $ L^2 $-ノルムにおける収束が確立され、差は $ k $ に関して指数的に減少する。
• スコア関数の差の $ L^2 $-ノルムは $ k \to \infty $ のときゼロに収束し、これはフィッシャー情報行列が分布的にその無限時間スパン極限に収束することを意味する。
• 証明は、状態空間上の尤度の下限としての下界を用いた、尤度およびその導関数の一様バウンドに依存する。
• 結果は、ドゥーク他（2004）の仮定と同一であり、隠れマルコフ連鎖の一様エルゴディシティおよびパrameter空間のコンパクト性を含む。
• 鍵となる技術的ステップは、尤度の比およびその勾配を用いて、スコア関数の差を評価し、状態空間上の尤度の下限を下界として用いることである。