[논문 리뷰] The maximizing set of the asymptotic normalized log-likelihood for partially observed Markov chains

Randal Douc, François Roueff외 1명|arXiv (Cornell University)|2015. 09. 30.

Bayesian Methods and Mixture Models참고 문헌 19인용 수 3

한 줄 요약

이 논문은 약간의 조건 하에 부분적으로 관측된 마르코프 체인에서의 점 渐近 정규화된 로그우도는 참값의 동치류 위에서 정확히 최대화됨을 보이며, 이는 최대우도추정량(MLE)의 동치류 일致성 보장한다. 핵심 통찰은 수렴 속도에 관계없이 완전자료 마르코프 체인의 불변 분포의 유일성에 기반하며, 이는 은닉 마르코프 모델(HMMs)과 관측에 의존하는 시간열 모델에 적용 가능하다.

ABSTRACT

This paper deals with a parametrized family of partially observed bivariate Markov chains. We establish that, under very mild assumptions, the limit of the normalized log-likelihood function is maximized when the parameters belong to the equivalence class of the true parameter, which is a key feature for obtaining the consistency of the maximum likelihood estimators (MLEs) in well-specified models. This result is obtained in the general framework of partially dominated models. We examine two specific cases of interest, namely, hidden Markov models (HMMs) and observation-driven time series models. In contrast with previous approaches, the identifiability is addressed by relying on the uniqueness of the invariant distribution of the Markov chain associated to the complete data, regardless its rate of convergence to the equilibrium.

연구 동기 및 목표

• 최소한의 가정 하에 부분적으로 관측된 마르코프 모델에서 최대우도추정량(MLE)의 일치성을 확립하기 위해.
• 점 식별이 아닌 참값의 동치류에 초점을 맞춰 식별 문제를 다루기 위해.
• 점 渐近 정규화된 로그우도의 최대화 집합이 참값과 동일한 관측 분포를 갖는 매개변수와 정확히 일치함을 보여주기 위해.
• 특히 HMMs와 관측에 의존하는 시간열 모델을 포함한 일반적인 부분적으로 지배되는 모델에 일치성 결과를 확장하기 위해.
• 완전자료 마르코프 체인의 불변 분포의 유일성이 동치류 일치성에 충분함을 보이며, 평형 상태 수렴 속도와는 무관하게 성립함을 보여주기 위해.

제안 방법

• 잠재적 및 관측 가능한 성분을 포함한 부분적으로 관측된 마르코프 체인의 맥락에서 점 渐近 정규화된 로그우도를 체계화하기 위해.
• 부분적으로 지배되는 모델의 프레임워크를 사용하여 정규화된 로그우도 함수의 극한을 분석하기 위해.
• 완전자료 마르코프 체인의 불변 분포의 유일성을 중심 기술 조건으로 삼기 위해.
• 다양한 마르코프 체인의 에르고딕 이론 결과(예: 다항 및 기하 에르고딕성)를 활용하여 정적 분포의 존재성과 유일성을 보장하기 위해.
• 커플링 및 모멘트 조건(예: β > 0 차수의 모멘트 존재성)을 사용하여 에르고딕성과 불변 측도의 적분 가능성을 검증하기 위해.
• 환원법을 사용하여 지수 모멘트가 실패할 경우 기하 에르고딕성이 성립하지 않음을 증명하고, 이는 주 결과를 뒷받침한다.

실험 결과

연구 질문

• RQ1 잠재 상태를 포함한 부분적으로 관측된 마르코프 모델에서 최대우도추정량이 어떤 조건 하에 일치하는가?
• RQ2 기하 에르고딕성이 필요 없이 점 渐近 정규화된 로그우도의 최대화 집합을 특성화할 수 있는가?
• RQ3 완전자료 마르코프 체인의 불변 분포의 유일성이 MLE의 동치류 일치성에 충분한가?
• RQ4 이 프레임워크는 은닉 마르코프 모델(HMMs)과 관측에 의존하는 시간열 모델에 어떻게 적용되는가?
• RQ5 잠재 체인이 기하 에르고딕성이 아니고 다항 에르고딕성 뿐일 경우에도 일치성이 확보될 수 있는가?

주요 결과

• 점 渐近 정규화된 로그우도는 참값의 동치류 위에서 정확히 최대화되며, 이는 MLE의 동치류 일치성을 보장한다.
• 완전자료 마르코프 체인의 불변 분포의 유일성이 이 일치성에 충분하며, 평형 상태 수렴 속도와는 무관하다.
• 상태 동역학이 $ X_k = (X_{k-1} + U_k - m)^+ $ 인 HMM 예시에서는 약간의 모멘트 조건 하에 다항 에르고딕성과 유일한 정적 분포를 갖는다.
• 기하 에르고딕성이 실패할 경우에도 MLE가 분포상으로 일치함이 입증되었으며, 이는 반환 시간에 대한 유한하지 않은 모멘트 조건 $ ho > 1 $ 에 의해 보여진다.
• 증명 기법은 지수 분리 조건을 피하고, 모멘트 한계와 두브의 최대부등식을 활용하여 비기하 에르고딕성을 확립한다.
• 결과는 조건부 우도가 해석 가능하지만 일치성 증명이 비틀린 GARCH(1,1)와 같은 관측에 의존하는 모델에 널리 적용 가능하다.