[论文解读] Estimating the transition matrix of a Markov chain observed at random times

Flavia Barsotti, Yohann de Castro+2 more|arXiv (Cornell University)|May 2, 2014

Bayesian Methods and Mixture Models参考文献 18被引用 16

一句话总结

本文提出了一种一致的、闭式解的估计器，用于在仅观测到随机稀疏子序列且观测时间间隔未知且独立同分布时，对离散时间马尔可夫链的转移矩阵 $ P $ 进行估计。通过利用 $ P $ 与观测到的转移矩阵 $ Q $ 的可交换性，并假设已知稀疏性结构（支持约束），该方法采用李括号最小化来恢复 $ P $，并通过理论和模拟验证，建立了渐近正态性和一致性。

ABSTRACT

In this paper we develop a statistical estimation technique to recover the transition kernel $P$ of a Markov chain $X=(X_m)_{m \\in \\mathbb N}$ in presence of censored data. We consider the situation where only a sub-sequence of $X$ is available and the time gaps between the observations are iid random variables. Under the assumption that neither the time gaps nor their distribution are known, we provide an estimation method which applies when some transitions in the initial Markov chain $X$ are known to be unfeasible. A consistent estimator of $P$ is derived in closed form as a solution of a minimization problem. The asymptotic performance of the estimator is then discussed in theory and through numerical simulations.

研究动机与目标

• 解决仅观测到马尔可夫链随机子序列且观测时间间隔不规则时，转移矩阵 $ P $ 的统计估计问题。
• 解决当观测时间间隔未知且独立同分布时，导致的可识别性问题。
• 在已知 $ P $ 的支持结构（即某些转移不可行）的假设下，构建一致且闭式解的 $ P $ 估计器。
• 在最小正则性条件下，建立所提估计器的渐近正态性和一致性。
• 为具有右删失、时间间隔不规则观测的稀疏马尔可夫链提供推断框架。

提出的方法

• 该方法将观测过程 $ Y_k = X_{T_k} $ 建模为潜在马尔可夫链 $ X_m $ 的稀疏化版本，其中时间间隔 $ \tau_k $ 为独立同分布。
• 利用 $ Y_k $ 仍为马氏过程且其转移矩阵 $ Q $ 是 $ P $ 的解析函数，且 $ P $ 与 $ Q $ 具有相同特征向量的事实。
• 核心估计器通过最小化李括号 $ [P, Q] $ 的 $ \ell_2 $-范数导出，通过投影到 $ \hat{Q} $ 的交换子上，得到闭式解。
• 估计器构造为 $ \hat{p} = F(\hat{Q}) $，其中 $ F $ 是由可交换性条件和已知支持 $ S $ 导出的可微函数。
• 通过 Cramér 的 delta 方法，利用映射 $ F $ 在 $ Q $ 处的微分，建立渐近正态性。
• 渐近方差通过包含 $ \Phi^\top \Delta(Q)^\top \Delta(Q) \Phi $ 的矩阵的逆计算得出，其中 $ \Phi $ 编码支持约束。

实验结果

研究问题

• RQ1 当仅观测到马尔可夫链的随机稀疏子序列且时间间隔未知时，转移矩阵 $ P $ 在何种条件下可识别？
• RQ2 当已知 $ P $ 的支持结构但时间间隔分布未知时，能否构建一致且闭式解的 $ P $ 估计器？
• RQ3 $ P $ 与 $ Q $ 之间的可交换性如何使我们能从观测链的经验转移矩阵 $ \hat{Q} $ 中恢复 $ P $ ？
• RQ4 在给定模型假设下，所提估计器的渐近性质（特别是相合性和渐近正态性）是什么？
• RQ5 稀疏性结构（即 $ P $ 中已知的零元素）在确保可识别性及实现估计中起什么作用？

主要发现

• 估计器 $ \hat{p} $ 是相合的，并且其闭式表达式通过最小化 $ P $ 与 $ \hat{Q} $ 之间的李括号导出。
• 当且仅当 $ \Delta(Q)\Phi $ 满秩时，$ P $ 具有可识别性，其中 $ \Phi $ 编码了 $ P $ 的支持约束。
• 估计器的渐近分布为均值为零、协方差矩阵与 $ \left( \Phi^\top \Delta(Q)^\top \Delta(Q) \Phi \right)^{-1} $ 成比例的正态分布。
• 该估计器在满足支持约束的所有估计器中达到渐近最优性，即其渐近方差最小。
• 蒙特卡洛模拟验证了估计器在各种 $ P $ 和 $ \mu $ 配置下的相合性及良好的有限样本性能。
• 当时间间隔分布 $ \mu $ 未知时，只要 $ P $ 的支持结构已知且可识别性条件成立，该方法依然有效。