[논문 리뷰] Maximum Likelihood Estimation for Markov Chains

Iuliana Teodorescu|ArXiv.org|2009. 05. 26.

Statistical Methods and InferenceMathematics참고 문헌 11인용 수 20

한 줄 요약

이 논문은 희박한 전이 행렬을 가진 마르코프 체인에 대해 부드럽게 처리된 최대우도추정법을 제안하며, 유한 표본에서 신뢰구간의 커버리지 성능을 향상시킨다. MLE에 부드러움 파라미터를 적용함으로써 편향을 감소시키고 부트스트랩 추론을 향상시키며, 시뮬레이션 결과에 따르면 낮은 부드러움 값(u=0.5)에서 표준 부트스트랩 또는 높은 u 값보다 우수한 커버리지(최대 99.6%)를 보였다.

ABSTRACT

A new approach for optimal estimation of Markov chains with sparse transition matrices is presented.

연구 동기 및 목표

• 희박한 전이 행렬을 가진 마르코프 체인에 대한 표준 최대우도추정법(MLE)의 열악한 유한표본 성능을 해결하기 위해.
• 작은 크기 또는 고차원 마르코프 체인에서 전이 확률에 대한 부트스트랩 기반 신뢰구간의 정확도를 향상시키기 위해.
• 부드러움 파라미터가 부트스트랩 백분위수 구간의 커버리지 성질에 미치는 영향을 조사하기 위해.
• 다양한 표본 크기와 전이행렬 구조에서 표준 부트스트랩(u=∞)과 부드러운 부트스트랩(u<∞)의 성능을 비교하기 위해.

제안 방법

• 관측되지 않은 상태에도 영향을 주지 않도록, MLE $\widehat{P}$에 작은 부드러움 파라미터 $u$를 더하여 부드러운 추정자 $\widetilde{P}$를 사용한다.
• 개별 전이 확률에 대한 90% 신뢰구간을 구축하기 위해 $\widehat{P}$와 $\widetilde{P}$ 양쪽에 부트스트랩 백분위수 방법을 적용한다.
• 표본 크기($n=25,50,100$)와 부드러움 파라미터($u=0.5,1.0,2.0,\infty$)에 따라 다양한 조건에서 1,000회의 반복을 포함한 시뮬레이션 연구를 수행하며, 두 가지 다른 진짜 전이행렬($P_I$와 $P_{II}$)을 사용해 커버리지 성능을 평가한다.
• 중앙극한정리에 기반해 MLE의 점근정규성을 도출하며, $\sqrt{n}(\widehat{P}_{v,n} - P_v) \xrightarrow{w} N(0, \Sigma_P)$를 보이며, $\Sigma_P$는 크로네커 델타 구조로 정의된다.
• 모든 $d^2$개의 전이 확률의 공동 점근분포를 분석하기 위해 $P_v = \text{vec}(P)$의 벡터화 형태를 사용한다.
• 표본 크기 $n=500,1000,10,000$에서 시뮬레이션된 행렬에 대해 직접 계산을 통해 $\widehat{P}$와 $\widetilde{P}$의 $O(n^{-0.5})$ 수렴 속도를 검증한다.

실험 결과

연구 질문

• RQ1 MLE를 부드럽게 처리함으로써 희박한 마르코프 체인 전이 확률에 대한 부트스트랩 신뢰구간의 커버리지가 향상되는가?
• RQ2 부드러움 파라미터 $u$의 선택이 부트스트랩 간격의 커버리지 성능에 어떤 영향을 미치는가?
• RQ3 작은 표본 또는 고차원 설정에서 부드러운 부트스트랩 방법이 표준 부트스트랩보다 더 강건한가?
• RQ4 체인 길이 $n$을 늘임으로써 표준 부트스트랩 및 부드러운 부트스트랩 간격의 커버리지 성능이 향상되는가?
• RQ5 부드러움을 적용한 후에도 MLE의 점근적 성질이 유지되는가? 부드러운 추정자는 일致성과 점근정규성을 유지하는가?

주요 결과

• $n=25$일 때, $u=0.5$인 부드러운 부트스트랩은 $P_{II}$에서 $P_{11}$과 $P_{12}$에 대해 99.6%의 경험적 커버리지 성과를 보였으며, 명목상 90%보다 크게 높았다.
• $n=25$일 때, 표준 부트스트랩($u=\infty$)은 $P_{II}$에서 $P_{11}$에 대해 뿐만 아니라 53.0%의 커버리지 성과를 보였으며, 심각한 부족 커버리지가 발생했다.
• $u=0.5$인 부드러운 부트스트랩은 모든 시험 조건에서 90% 이상의 커버리지 성과를 일관되게 달성했으며, $n=25$와 $P_{II}$에서 가장 높은 커버리지(99.6%)를 기록했다.
• $u$를 0.5에서 2.0으로 증가시키면 커버리지가 약 90%에서 약 80%로 감소하여, 더 높은 $u$ 값은 간격 정밀도를 떨어뜨린다는 것을 시사한다.
• $n=100$일 때, $u=0.5$인 부드러운 부트스트랩은 $P_I$에서 $P_{11}$과 $P_{12}$에 대해 각각 92.0%와 92.9%의 커버리지 성과를 보였으며, 표준 부트스트랩은 각각 87.0%와 89.1%를 기록했다.
• $n=1,000,000$까지의 시뮬레이션 결과, $\widehat{P}$와 $\widetilde{P}$가 모두 $O(n^{-0.5})$ 속도로 수렴함을 확인하여 이론적 점근정규성에 대한 지지를 받았다.