[논문 리뷰] Estimating the transition matrix of a Markov chain observed at random times

Flavia Barsotti, Yohann de Castro외 2명|arXiv (Cornell University)|2014. 05. 02.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 16

한 줄 요약

이 논문은 관측 시간 간격이 서로 독립적이고 동일하게 분포된 무작위로 희박화된 부분 수열만 관측 가능한 이산 시간 마르코프 체인의 전이행렬 $ P $ 에 대해 일관되고 폐형 해를 제안한다. $ P $ 와 관측된 전이행렬 $ Q $ 의 가환성과 알려진 희소성 구조(지원 제약 조건)를 활용하여, Lie 괄호 최소화를 통해 $ P $ 를 복원하는 방법을 제시하며, 이론적 및 시뮬레이션 검증을 통해 점근 정규성과 일관성을 입증한다.

ABSTRACT

In this paper we develop a statistical estimation technique to recover the transition kernel $P$ of a Markov chain $X=(X_m)_{m \\in \\mathbb N}$ in presence of censored data. We consider the situation where only a sub-sequence of $X$ is available and the time gaps between the observations are iid random variables. Under the assumption that neither the time gaps nor their distribution are known, we provide an estimation method which applies when some transitions in the initial Markov chain $X$ are known to be unfeasible. A consistent estimator of $P$ is derived in closed form as a solution of a minimization problem. The asymptotic performance of the estimator is then discussed in theory and through numerical simulations.

연구 동기 및 목표

• 관측 시간 간격이 무작위로 비등간격인 부분 수열만 관측 가능한 마르코프 체인의 전이행렬 $ P $ 의 통계적 추정 문제를 다루는 것.
• 관측 간격이 알려져 있지 않고 i.i.d. 인 경우 발생하는 식별성 문제를 해결하는 것.
• 전이행렬 $ P $ 의 지지 집합(지원)이 알려져 있을 때 일관되고 폐형 해를 제안하는 것.
• 최소한의 정규성 조건 하에서 제안된 추정기의 점근 정규성과 일관성을 확립하는 것.
• 희소 마르코프 체인에서 케이싱되고 비등간격으로 관측된 데이터에 대한 추론 프레임워크를 제공하는 것.

제안 방법

• 관측 과정 $ Y_k = X_{T_k} $ 를 잠재 마르코프 체인 $ X_m $ 의 희박화된 형태로 모델링하며, 이는 i.i.d. 시간 간격 $ \tau_k $ 를 가진다.
• 관측된 과정 $ Y_k $ 는 전이행렬 $ Q $ 를 가진 마르코프 과정이며, 이는 $ P $ 의 해석적 함수이고, $ P $ 와 $ Q $ 는 동일한 고유벡터를 가진다.
• 핵심 추정기는 $ P $ 와 $ Q $ 의 Lie 괄호 $ [P, Q] $ 의 $ \ell_2 $-노름을 최소화함으로써 유도되며, 이는 $ \hat{Q} $ 의 가환자에 대한 투영을 통해 폐형 해를 얻는다.
• 추정기는 $ \hat{p} = F(\hat{Q}) $ 의 형태로 구성되며, 여기서 $ F $ 는 가환성 조건과 알려진 지지 집합 $ S $ 에 기반한 미분 가능 함수이다.
• Cramér의 델타 방법을 통해 $ F $ 의 미분을 이용해 점근 정규성을 확립한다.
• 점근 분산은 $ \Phi^\top \Delta(Q)^\top \Delta(Q) \Phi $ 를 포함하는 행렬의 역행렬을 사용해 계산된다.

실험 결과

연구 질문

• RQ1 관측 시간 간격이 알려져 있지 않고 무작위로 희박화된 부분 수열만 관측 가능한 마르코프 체인에서 전이행렬 $ P $ 가 언제 식별 가능한가?
• RQ2 전이행렬 $ P $ 의 지지 집합이 알려져 있으나 시간 간격 분포가 알려져 있지 않을 경우, 일관되고 폐형 해를 구성할 수 있는가?
• RQ3 전이행렬 $ P $ 와 $ Q $ 간의 가환성이 관측된 체인의 경험 전이행렬 $ \hat{Q} $ 에서 $ P $ 를 복원하는 데 어떻게 기여하는가?
• RQ4 제안된 추정기의 점근적 성질—특히 일관성과 점근 정규성—은 주어진 모델 가정 하에서 어떻게 되는가?
• RQ5 희소성 구조(즉, $ P $ 의 알려진 0 원소들)는 식별성 확보와 추정 가능성을 어떻게 높이는가?

주요 결과

• 추정기 $ \hat{p} $ 는 일관성이 있으며, $ P $ 와 $ \hat{Q} $ 의 Lie 괄호를 최소화함으로써 유도된 폐형 표현을 가진다.
• 식별성은 $ \Delta(Q)\Phi $ 가 전순위를 가질 때이고, 그 때에만 성립한다. 여기서 $ \Phi $ 는 $ P $ 의 지지 집합 제약 조건을 표현한다.
• 추정기의 점근 분포는 평균이 0이고 공분산 행렬이 $ \left( \Phi^\top \Delta(Q)^\top \Delta(Q) \Phi \right)^{-1} $ 에 비례하는 정규분포이다.
• 이 추정기는 지지 제약 조건을 만족하는 모든 추정기 중에서 점근 분산이 최소가 되는 최적성에 도달한다.
• 몬테카를로 시뮬레이션을 통해 다양한 $ P $ 와 $ \mu $ 의 설정에서 추정기의 일관성과 양호한 유한표본 성능을 확인하였다.
• 시간 간격 분포 $ \mu $ 가 알려져 있지 않더라도, $ P $ 의 지지 집합이 알려져 있고 식별성 조건이 만족되면 방법이 여전히 유효하다.