[論文レビュー] The maximizing set of the asymptotic normalized log-likelihood for partially observed Markov chains

Randal Douc, François Roueff+1 more|arXiv (Cornell University)|Sep 30, 2015

Bayesian Methods and Mixture Models参考文献 19被引用数 3

ひとこと要約

本稿では、やや緩い条件下で、部分的に観測されたマルコフ連鎖における漸近的正規化された対数尤度が、真のパラメータの同値類の上でのみ最大値をとることを確立し、最尤推定量（MLE）の同値類の一致性を保証する。主な洞察は、収束速度にかかわらず、完全データマルコフ連鎖の不変分布の一意性に依拠しており、これは隠れマルコフモデル（HMMs）および観測駆動型時系列モデルに適用可能である。

ABSTRACT

This paper deals with a parametrized family of partially observed bivariate Markov chains. We establish that, under very mild assumptions, the limit of the normalized log-likelihood function is maximized when the parameters belong to the equivalence class of the true parameter, which is a key feature for obtaining the consistency of the maximum likelihood estimators (MLEs) in well-specified models. This result is obtained in the general framework of partially dominated models. We examine two specific cases of interest, namely, hidden Markov models (HMMs) and observation-driven time series models. In contrast with previous approaches, the identifiability is addressed by relying on the uniqueness of the invariant distribution of the Markov chain associated to the complete data, regardless its rate of convergence to the equilibrium.

研究の動機と目的

• 最小限の仮定の下で、潜在状態を含む部分的観測マルコフモデルにおける最尤推定量（MLE）の一貫性を確立すること。
• 点同定ではなく真のパラメータの同値類に注目することで、同定可能性問題に対処すること。
• 漸近的正規化された対数尤度の最大化集合が、真のパラメータと同一の観測分布を与えるパラメータとちょうど一致することを示すこと。
• 一般の部分的支配モデルに一貫性結果を拡張し、特にHMMsおよび観測駆動型時系列モデルを含めること。
• 完全データマルコフ連鎖の不変分布の一意性が、平衡分布への収束速度にかかわらず、同値類の一貫性に十分であることを示すこと。

提案手法

• 潜在的および観測可能な成分を含む部分的観測マルコフ連鎖の文脈で、漸近的正規化された対数尤度を形式化すること。
• 部分的支配モデルの枠組みを用いて、正規化された対数尤度関数の極限を分析すること。
• 完全データマルコフ連鎖の不変分布の一意性を、中心的な技術的条件として用いること。
• 多項式的および幾何的エルゴディシティを含むマルコフ連鎖のエルゴディック理論の結果を適用し、定常分布の存在および一意性を保証すること。
• カップリングおよびモーメント条件（例：β > 0 のモーメントの存在）を用いて、エルゴディシティおよび不変測度の可積分性を検証すること。
• 帰納的反証法を用い、帰納的時間のモーメントを用いて、指数的モーメントが失敗する場合の非幾何的エルゴディシティを証明し、主結果を裏付けること。

実験結果

リサーチクエスチョン

• RQ1 潜在状態を含む部分的観測マルコフモデルにおける最尤推定量の一貫性は、どのような条件下で成立するか？
• RQ2 幾何的エルゴディシティを要件としないで、漸近的正規化された対数尤度の最大化集合を特徴づけられるか？
• RQ3 完全データマルコフ連鎖の不変分布の一意性は、MLEの同値類の一貫性に十分か？
• RQ4 この枠組みは、隠れマルコフモデル（HMMs）および観測駆動型時系列モデルにどのように適用可能か？
• RQ5 潜在連鎖が幾何的エルゴディックではなく、多項式的エルゴディックである場合でも、一貫性を確立できるか？

主な発見

• 漸近的正規化された対数尤度は、真のパラメータの同値類の上でのみ最大値をとり、MLEの同値類の一貫性が保証される。
• 完全データマルコフ連鎖の不変分布の一意性が、平衡分布への収束速度にかかわらず、この一貫性に十分である。
• 状態ダイナミクスが $ X_k = (X_{k-1} + U_k - m)^+ $ であるHMMの例では、やや緩いモーメント条件の下で多項式的エルゴディックであり、一意な定常分布を有する。
• 幾何的エルゴディシティが成立しない場合でも、MLEが分布的一致性を示すことが示された。これは帰納的時間のモーメント条件 $ ho > 1 $ が非有限であることに起因する。
• 証明技法は指数的分離条件を避けており、代わりにモーメントバウンズおよびドーブの最大不等式を用いて非幾何的エルゴディシティを確立している。
• 結果は、条件付き尤度が取り扱いやすいが、一貫性の証明が非自明であるGARCH(1,1)などの観測駆動型モデルに広く適用可能である。