[论文解读] LMest: an R package for latent Markov models for categorical longitudinal data

Francesco Bartolucci, Alessio Farcomeni+2 more|arXiv (Cornell University)|Jan 19, 2015

Bayesian Methods and Mixture Models参考文献 33被引用 11

一句话总结

本论文介绍了LMest，一个用于对分类纵向数据拟合潜在马尔可夫（LM）模型的R包，采用带有前向-后向递推的期望最大化算法。该工具支持在测量过程和潜在过程两部分中引入个体协变量，支持带有随机效应的混合LM模型，并提供标准误和解码选项，为社会学、医学和行为研究中未观测异质性及随时间变化的未观测特征分析提供了灵活的分析工具。

ABSTRACT

Latent Markov (LM) models represent an important class of models for the analysis of longitudinal data (Bartolucci et. al., 2013), especially when response variables are categorical. These models have a great potential of application for the analysis of social, medical, and behavioral data as well as in other disciplines. We propose the R package LMest, which is tailored to deal with these types of model. In particular, we consider a general framework for extended LM models by including individual covariates and by formulating a mixed approach to take into account additional dependence structures in the data. Such extensions lead to a very flexible class of models, which allows us to fit different types of longitudinal data. Model parameters are estimated through the expectation-maximization algorithm, based on the forward-backward recursions, which is implemented in the main functions of the package. The package also allows us to perform local and global decoding and to obtain standard errors for the parameter estimates. We illustrate its use and the most important features on the basis of examples involving applications in health and criminology.

研究动机与目标

• 开发一个R包，以实现对分类纵向数据的潜在马尔可夫模型的高效估计。
• 通过在测量模型和潜在马尔可夫链两部分中引入个体协变量，扩展现有模型。
• 支持带有随机效应的混合潜在马尔可夫模型，以考虑额外的依赖结构。
• 利用观测信息矩阵计算参数估计的准确标准误。
• 通过支持局部和全局潜在状态解码，提升模型的可解释性与诊断能力。

提出的方法

• 使用带有前向-后向递推的期望最大化（EM）算法进行最大似然估计。
• 采用高效的参数化方法，将个体协变量纳入测量模型或潜在马尔可夫链中。
• 通过引入随机效应，实现混合LM模型的公式化，以捕捉未观测异质性。
• 采用Fortran子程序以提高计算效率，减少运行时间。
• 通过精确或可靠的观测信息矩阵近似方法计算标准误。
• 在模型估计中支持单变量和多变量分类结果。

实验结果

研究问题

• RQ1 如何将潜在马尔可夫模型扩展，以包含影响纵向分类数据中响应或潜在过程的个体协变量？
• RQ2 带有随机效应的混合潜在马尔可夫模型在参数估计方面的性能与准确性如何？
• RQ3 在复杂的LM模型中，如何可靠地计算参数估计的标准误？
• RQ4 在健康与犯罪学等实际应用中，潜在状态的可解释性如何？
• RQ5 与现有的R包相比，LMest包在效率和功能方面表现如何？

主要发现

• LMest包成功实现了在测量模型和潜在过程模型中均包含个体协变量的潜在马尔可夫模型估计，能够灵活建模随时间变化的未观测特征。
• 估计的犯罪行为条件概率显示，第二潜在状态（占女性的18.2%）与盗窃和入室抢劫的高倾向相关，而第一状态（占81.8%）的犯罪倾向接近于零。
• 第一组（22%）女性从第二状态向第一状态的转移概率为64%，而第二组为34%，表明第一组表现出更强的行为改善趋势。
• 模型揭示了在两组中第一潜在状态均具有高度持续性，大多数时间点从状态1到自身的转移概率超过0.99。
• 通过观测信息矩阵的可靠近似方法计算了参数估计的标准误，增强了模型推断的可靠性。
• 该包支持多变量分类结果，并提供高效的解码与预测工具，未来计划更新以支持连续结果和信息性缺失数据处理。