[논문 리뷰] Non singularity of the asymptotic Fisher information matrix in hidden Markov models

Randal Douc|arXiv (Cornell University)|2005. 11. 25.

Random Matrices and Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 가능한 비유한 상태 공간을 가진 은닉 마르코프 모델(HMMs)에서 점근적 피셔 정보 행렬의 비특이성에 대한 필수적이고 충분한 조건을 수립한다. 무한 시간 범위의 피셔 정보 행렬의 비특이성과 유한 관측 블록 행렬의 비특이성이 동치임을 보여줌으로써, 최대우도추정량(MLE)의 점근적 정규성에 요구되는 역행렬 가능성을 검증할 수 있는 실용적인 기준을 제공한다.

ABSTRACT

In this paper, we consider a parametric hidden Markov model where the hidden state space is non necessarily finite. We provide a necessary and sufficient condition for the invertibility of the limiting Fisher information matrix.

연구 동기 및 목표

• 비유한 은닉 상태 공간을 가진 HMM에서 점근적 피셔 정보 행렬의 비특이성 검증 문제를 해결하기 위해.
• 최대우도추정량(MLE)의 점근적 정규성에 필수적인 한계 피셔 정보 행렬의 역행렬 가능성에 대한 실용적인 기준을 제공하기 위해.
• 무한 시간 범위 조건을 유한 관측 블록 행렬 조건으로 환원하여 이론적 요구사항과 실질적 검증 간 격차를 메우기 위해.
• 핵심 비특이성 가정을 분석 및 계산에 더 쉽게 접근 가능하게 하여 HMM에서 MLE의 점근 이론을 뒷받침하기 위해.

제안 방법

• 모든 과거 관측에 의존하고 해석적으로 접근하기 어려운 점근적 피셔 정보 행렬 $ I(\theta) = -\mathbb{E}_{\theta}\left(\nabla_{\theta}^{2}\log p_{\theta}(Y_{1}|\mathbf{Y}_{-\infty}^{0})\right) $ 를 도입한다.
• 유한 개의 관측에만 의존하는 유한 관측 피셔 정보 행렬 $ I_{Y_{1:n}}(\theta) = -\mathbb{E}_{\theta}\left(\nabla_{\theta}^{2}\log p_{\theta}(Y_{1:n})\right) $ 를 정의한다.
• 확장된 마르코프 체인의 구조를 바탕으로 한 커플링 추론을 통해 모델 가정 하에 $ I(\theta) $ 와 $ I_{Y_{1:n}}(\theta) $ 의 비특이성 간의 동치성을 확립한다.
• 은닉 체인의 균일한 에르고딕성과 기하적 혼합성을 활용하여 유한 및 무한 과거에 조건부인 스코어 함수 간의 차이를 근사화하는 커플링 기법을 적용한다.
• 기술적 보조정리를 사용하여 조건부 창이 길어질수록 스코어 함수의 $ L^2 $-노름 차이가 0으로 수렴함을 보인다.
• 델타 방법과 모멘트 경계를 적용하여 진짜 매개변수 $ \theta^* $ 에서 피셔 정보 행렬의 수렴을 제어함으로써 한계의 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 비유한 상태 공간을 가진 은닉 마르코프 모델에서 점근적 피셔 정보 행렬의 비특이성은 어떤 조건에서 성립하는가?
• RQ2 무한 시간 범위 피셔 정보 행렬의 비특이성은 유한 관측 블록에 대한 조건으로 환원될 수 있는가?
• RQ3 유한 조건부와 무한 조건부 하에서 스코어 함수의 수렴은 피셔 정보 행렬의 역행렬 가능성에 어떤 영향을 미치는가?
• RQ4 확장된 마르코프 체인의 기하적 에르고딕성은 피셔 정보 행렬의 안정성 확보에 어떤 역할을 하는가?
• RQ5 $ I_{Y_{1:n}}(\theta) $ 의 비특이성은 $ I(\theta) $ 의 비특이성에 필수적이고 충분한 조건인가?

주요 결과

• 점근적 피셔 정보 행렬 $ I(\theta) $ 의 비특이성은 유한 관측 행렬 $ I_{Y_{1:n}}(\theta) $ 의 비특이성과 동치이며, 이는 검증에 실용적인 기준을 제공한다.
• 조건부 과거에 따라 달라지는 스코어 함수 $ \nabla_{\theta}\log\bar{p}_{\theta^{*}}(\mathbf{Y}_{1}^{n}|\mathbf{Y}_{-k-m}^{-k}) $ 와의 $ L^2 $-노름 차이가 $ k $ 에 대해 지수적으로 감소함을 보이며, $ \nabla_{\theta}\log\bar{p}_{\theta^{*}}(\mathbf{Y}_{1}^{n}) $ 로 수렴함을 확인한다.
• 스코어 함수의 $ L^2 $-노름 차이가 $ k \to \infty $ 일 때 0으로 수렴함을 보여, 피셔 정보 행렬이 그 무한 시간 범위 극한으로 분포 수렴함을 의미한다.
• 이론적 증명은 은닉 체인의 미니마이제이션 조건과 기하적 에르고딕성의 존재를 활용하여 가능성이 있는 가능성의 하한으로서 상태 공간 전역에서의 가능도의 하한값을 사용한 유계성 조건에 기반한다.
• 결과는 Douc 등(2004)에서 제시된 가정과 동일한 조건 하에서 성립하며, 이는 은닉 마르코프 체인의 균일한 에르고딕성과 매개변수 공간의 컴acts성 포함된다.
• 핵심 기술적 단계는 가능성과 그 도함수의 비율을 이용하여 스코어 함수의 차이를 유계화하는 것으로, 상태 공간 전역에서 가능성의 하한값을 하한으로 사용한다.