[논문 리뷰] An overview of latent Markov models for longitudinal categorical data

Francesco Bartolucci, Alessio Farcomeni외 1명|arXiv (Cornell University)|2010. 03. 14.

Bayesian Methods and Mixture Models참고 문헌 50인용 수 20

한 줄 요약

이 논문은 관측되지 않는 상태가 일阶 마르코프 체인으로 변화하고, 응답이 잠재 상태 조건 하에서 조건부로 독립일 때, 종단적 범주형 자료를 위한 잠재 마르코프(LM) 모형에 대한 종합적인 개요를 제시한다. 저자들은 전방-후방 재귀를 사용한 기대값-최대우도(EM) 알고리즘을 통한 최대우도 추정 방법을 상세히 기술하고, 모형의 단순성과 가설 검정을 위해 제약 조건을 도입한 모형을 탐색하며, 공변량과 다수준 구조를 포함한 프레임워크로 확장하여 사회경제학 및 건강 연구 분야의 응용 사례를 제시한다.

ABSTRACT

We provide a comprehensive overview of latent Markov (LM) models for the analysis of longitudinal categorical data. The main assumption behind these models is that the response variables are conditionally independent given a latent process which follows a first-order Markov chain. We first illustrate the basic LM model in which the conditional distribution of each response variable given the corresponding latent variable and the initial and transition probabilities of the latent process are unconstrained. For this model we also illustrate in detail maximum likelihood estimation through the Expectation-Maximization algorithm, which may be efficiently implemented by recursions known in the hidden Markov literature. We then illustrate several constrained versions of the basic LM model, which make the model more parsimonious and allow us to include and test hypotheses of interest. These constraints may be put on the conditional distribution of the response variables given the latent process (measurement model) or on the distribution of the latent process (latent model). We also deal with extensions of LM model for the inclusion of individual covariates and to multilevel data. Covariates may affect the measurement or the latent model; we discuss the implications of these two different approaches according to the context of application. Finally, we outline methods for obtaining standard errors for the parameter estimates, for selecting the number of states and for path prediction. Models and related inference are illustrated by the description of relevant socio-economic applications available in the literature.

연구 동기 및 목표

• 관측되지 않는 이질성의 존재를 고려한 종단적 범주형 자료를 분석하기 위한 잠재 마르코프(LM) 모형에 대한 체계적인 리뷰를 제공하는 것.
• 관측된 범주형 응답을 설명할 수 있는 유한 상태의 마르코프 체인을 사용하여 시간에 따라 변화하는 개인의 관측되지 않는 궤적을 모형화하는 데 도전하는 것.
• 기본 LM 모형을 개선하여 개인 수준의 공변량과 다수준 구조를 포함함으로써 더 풍부한 복잡한 자료 모형화를 가능하게 하는 것.
• 특히 EM 알고리즘과 최대우도 비율 검정을 통해 추정, 추론 및 모형 선택에 대한 실용적 지침을 제공하는 것.
• 고차 마르코프 체인, 누락 자료 메커니즘, 다차원 응답 구조 등 최근 연구 방향을 부각하는 것.

제안 방법

• 응답 변수를 잠재 일계 마르코프 체인 조건 하에서 국소적 독립성을 가정하고, 조건부 독립성을 가정한다.
• 계산 부담을 줄이기 위해 전방-후방 재귀를 사용한 기대값-최대우도(EM) 알고리즘을 활용해 최대우도 추정을 수행한다.
• 측정 모형(예: 라스프 유형의 매개변수화)과 잠재 모형(예: 전이 확률에 대한 등가 제약 조건)에 제약 조건을 적용하여 모형의 단순성과 해석 가능성을 향상시킨다.
• 최대우도 비율(LR) 통계량을 사용해 제약 조건을 검정하며, 전이 행렬 제약 조건을 검정할 경우 비표준 점근 분포(카이바르 슈어드 분포)를 고려한 신뢰성 있는 추론 절차가 필요하다.
• 개인 공변량을 측정 모형(응답 확률에 영향을 주는) 또는 잠재 모형(초기 확률 및 전이 확률에 영향을 주는)에 통합한다.
• 클러스터별 잠재 과정과 중첩된 마르코프 체인을 도입하여 다수준 자료에 대해 모형을 확장함으로써 계층적 역학을 허용한다.

실험 결과

연구 질문

• RQ1 일계 마르코프 체인을 사용하여 종단적 범주형 자료에서 관측되지 않는 이질성을 효과적으로 모형화할 수 있는 방법은 무엇인가?
• RQ2 특히 반복적인 범주형 응답이 포함된 고차원 설정에서 LM 모형의 가장 효과적인 추정 기법은 무엇인가?
• RQ3 측정 모형 또는 잠재 모형에 대한 제약 조건이 모형의 해석 가능성 향상과 공식적 가설 검정을 가능하게 하는 방식은 무엇인가?
• RQ4 개인 공변량을 LM 모형에 어떻게 의미 있게 통합할 수 있으며, 측정 모형과 잠재 모형에 배치했을 때의 의미는 무엇인가?
• RQ5 LM 모형에서 누락 응답을 다루고 고차 의존성 구조를 모형화하는 데 있어 핵심 과제와 해결 방법은 무엇인가?

주요 결과

• 전방-후방 재귀를 사용한 EM 알고리즘은 잠재 마르코프 모형에서 효율적인 최대우도 추정을 가능하게 하며, 계산 복잡도를 크게 감소시킨다.
• 전이 행렬에 대한 제약 조건은 종종 비표준 점근 분포(예: 카이바르 슈어드 분포)를 초래하므로, 최대우도 비율 검정을 위한 신중한 추론 절차가 필요하다.
• 측정 모형에 라스프 유형의 매개변수화를 적용하면 잠재 상태를 능력 수준이나 경향성 수준으로 해석할 수 있어 모형의 해석 가능성이 향상된다.
• 공변량은 두 가지 방식으로 통합될 수 있다: 응답 확률에 영향을 주는 측정 모형 또는 초기 및 전이 확률에 영향을 주는 잠재 모형. 각각 다른 실질적 의미를 가진다.
• 응용 사례에서는 공립학교 학생들이 비공립학교 학생들보다 더 다양한 잠재 능력 프로파일을 보이며(A: 32%, B: 23%, C: 38%), 높은 부모의 교육 수준은 학생의 능력 향상과 관련이 있다.(A: 79%, D: 21%).
• 미래 연구에 대한 잠재력이 큰 최근의 확장 기법들—예: 고차 마르코프 체인, 혼합형 응답의 융통성 있는 모형화, 누락 자료 메커니즘의 명시적 모형화—등이 제시된다.