[论文解读] An overview of latent Markov models for longitudinal categorical data

Francesco Bartolucci, Alessio Farcomeni+1 more|arXiv (Cornell University)|Mar 14, 2010

Bayesian Methods and Mixture Models参考文献 50被引用 20

一句话总结

本文全面概述了用于纵向分类数据的潜马尔可夫（LM）模型，其中未观测状态作为一阶马尔可夫链演化，且给定潜状态时响应条件独立。作者详细描述了通过EM算法结合前向-后向递推实现的最大似然估计，探讨了通过约束模型实现简约性与假设检验，将框架扩展至包含协变量和多层次结构，并在社会经济与健康研究中展示了其应用。

ABSTRACT

We provide a comprehensive overview of latent Markov (LM) models for the analysis of longitudinal categorical data. The main assumption behind these models is that the response variables are conditionally independent given a latent process which follows a first-order Markov chain. We first illustrate the basic LM model in which the conditional distribution of each response variable given the corresponding latent variable and the initial and transition probabilities of the latent process are unconstrained. For this model we also illustrate in detail maximum likelihood estimation through the Expectation-Maximization algorithm, which may be efficiently implemented by recursions known in the hidden Markov literature. We then illustrate several constrained versions of the basic LM model, which make the model more parsimonious and allow us to include and test hypotheses of interest. These constraints may be put on the conditional distribution of the response variables given the latent process (measurement model) or on the distribution of the latent process (latent model). We also deal with extensions of LM model for the inclusion of individual covariates and to multilevel data. Covariates may affect the measurement or the latent model; we discuss the implications of these two different approaches according to the context of application. Finally, we outline methods for obtaining standard errors for the parameter estimates, for selecting the number of states and for path prediction. Models and related inference are illustrated by the description of relevant socio-economic applications available in the literature.

研究动机与目标

• 提供对用于分析具有未观测异质性的纵向分类数据的潜马尔可夫（LM）模型的系统性综述。
• 解决使用有限状态马尔可夫链建模随时间变化的未观测个体轨迹的挑战，以解释观测到的分类响应。
• 将基本LM模型扩展以包含个体层面的协变量和多层次结构，从而实现对复杂数据的更丰富建模。
• 为模型估计、推断与选择提供实用指导，特别是通过EM算法和似然比检验。
• 突出新兴研究方向，如高阶马尔可夫链、缺失数据机制以及多维响应结构。

提出的方法

• 将响应变量建模为在潜一阶马尔可夫链条件下条件独立，假设局部独立性。
• 使用期望最大化（EM）算法结合前向-后向递推实现最大似然估计，以减轻计算负担。
• 对测量模型（如Rasch型参数化）和潜模型（如转移概率的相等性约束）施加约束，以提高模型简约性。
• 使用似然比（LR）统计量检验约束，当检验转移矩阵约束时需考虑非标准渐近分布（如卡方-条形分布）。
• 将个体协变量整合到测量模型中（影响响应概率）或潜模型中（影响初始概率和转移概率）。
• 通过引入具有嵌套马尔可夫链的聚类特定潜过程，将模型扩展至多层次数据，以允许分层动态。

实验结果

研究问题

• RQ1 潜马尔可夫模型如何通过一阶马尔可夫链有效建模纵向分类数据中的未观测异质性？
• RQ2 在具有重复分类响应的高维设置下，LM模型最有效的估计技术是什么？
• RQ3 对测量模型或潜模型施加约束如何提升模型可解释性，并实现正式的假设检验？
• RQ4 个体协变量如何有意义地整合到LM模型中？将其置于测量模型与潜模型中的影响有何不同？
• RQ5 在LM模型中处理缺失响应和建模高阶依赖结构的关键挑战与解决方案是什么？

主要发现

• 结合前向-后向递推的EM算法可显著降低计算复杂度，实现潜马尔可夫模型中的高效最大似然估计。
• 转移矩阵约束常导致非标准渐近分布（如卡方-条形分布），需采用谨慎的推断程序进行似然比检验。
• 测量模型中采用Rasch型参数化可使潜状态被解释为能力或倾向水平，增强模型可解释性。
• 协变量可通过两种不同方式整合：影响响应概率（测量模型）或影响初始/转移概率（潜模型），每种方式具有不同的实际解释。
• 应用结果显示，公立学校学生表现出更多样化的潜能力特征（A: 32%，B: 23%，C: 38%），而私立学校学生则更集中（A: 79%，D: 21%），且父亲教育水平越高，学生能力越强。
• 新兴扩展方向——如高阶马尔可夫链、混合类型响应的灵活建模以及缺失数据机制的显式建模——为未来研究提供了巨大潜力。