[논문 리뷰] On Limiting Likelihood Ratio Processes of some Change-Point Type Statistical Models

Sergueï Dachian|arXiv (Cornell University)|2009. 07. 02.

Statistical Methods and Inference참고 문헌 19인용 수 15

한 줄 요약

이 논문은 변화점 모형에서의 한계 가능도 비율 과정을 연구하며, 작은 매개수에서 포아송 기반 과정이 브라운 운동 기반 과정에 의해 근사됨을 보여준다. 그 결과, 이러한 모형에서 베이지안 추정기와 최대우도추정기들의 한계 분산과 점근적 효율성을 더 단순한 브라운 기반 프레임워크를 사용하여 근사할 수 있으며, 수치 시뮬레이션을 통해 매개수의 값이 0 또는 무한대로 갈수록 알려진 상수로 수렴하는 것을 확인하였다.

ABSTRACT

Different change-point type models encountered in statistical inference for stochastic processes give rise to different limiting likelihood ratio processes. In this paper we consider two such likelihood ratios. The first one is an exponential functional of a two-sided Poisson process driven by some parameter, while the second one is an exponential functional of a two-sided Brownian motion. We establish that for sufficiently small values of the parameter, the Poisson type likelihood ratio can be approximated by the Brownian type one. As a consequence, several statistically interesting quantities (such as limiting variances of different estimators) related to the first likelihood ratio can also be approximated by those related to the second one. Finally, we discuss the asymptotics of the large values of the parameter and illustrate the results by numerical simulations.

연구 동기 및 목표

• 독립 identical 분포를 가진 표본에서 불연속 밀도를 가진 변화점 모형의 가능도 비율 과정의 점근적 행동을 분석한다.
• 작은 매개수 값에서 포아송 기반과 브라운 기반의 한계 가능도 비율 과정 간의 연결을 수립한다.
• 베이지안 추정기와 최대우도추정기의 핵심 통계량—예를 들어 한계 분산과 점근적 효율성—을 브라운 근사법을 통해 근사한다.
• 모형 매개수가 0 또는 무한대로 갈 때 이러한 추정기들의 점근적 행동을 수치 시뮬레이션을 통해 조사한다.
• 매개수 값마다 10^7회의 반복을 포함한 광범위한 몬테카를로 시뮬레이션을 통해 이론적 근사를 검증한다.

제안 방법

• 변화점 모형의 점근적 가능도 비율을 나타내는 두 방향 포아송 과정의 지수 기능으로서의 한계 가능도 비율 과정 $ Z_{\rho}(x) $ 를 유도한다. 이 과정의 강도는 $ \rho $ 에 따라 달라진다.
• 베이지안 추정기와 최대우도추정기의 한계 분포에 해당하는 평균과 최빈값을 각각 $ \theta_{\rho} $ 와 $ \rho_{\rho} $ 라 정의한다.
• 작은 $ \rho $ 에서 포아송 기반 과정 $ Z_{\rho} $ 가 약한 수렴을 통해 브라운 기반 과정으로 수렴함을 보이며, 이는 한계 분산 $ B_{\rho} = \mathbb{E}[\zeta_{\rho}^2] $ 와 $ M_{\rho} = \mathbb{E}[\xi_{\rho}^2] $ 의 근사를 가능하게 한다.
• 대규모 이탈 기법과 모멘트 경계를 사용하여 확률적 지배를 증명하며, $ \rho \to 0 $ 일 때 포아송 과정의 꼬리 확률이 브라운 과정의 꼬리 확률을 초과하는 요소가 점차 사라짐을 보여준다.
• 10^7회의 반복을 사용한 수치 시뮬레이션을 통해 $ B_{\rho} $, $ M_{\rho} $, 그리고 $ E_{\rho} = B_{\rho}/M_{\rho} $ 를 추정하고, 점근적 근사를 검증한다.
• 재생 이론과 포아송 과정의 성질(예: $ \sup_t (-\Pi(t) + t) $ 의 분포)을 응용하여 지수 모멘트를 경계하고 근사의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 작은 매개수 값에서 변화점 모형의 포아송 기반 한계 가능도 비율 과정은 브라운 기반 과정으로 근사될 수 있는가?
• RQ2 베이지안 추정기와 최대우도추정기의 한계 분산 $ B_{\rho} $ 와 $ M_{\rho} $ 는 무엇이며, $ \rho \to 0 $ 또는 $ \rho \to \infty $ 일 때 어떻게 행동하는가?
• RQ3 최대우도추정기의 점근적 효율성 $ E_{\rho} = B_{\rho}/M_{\rho} $ 는 $ \rho $ 에 따라 어떻게 변화하며, 그 한계는 무엇인가?
• RQ4 수치 시뮬레이션은 $ B_{\rho} $, $ M_{\rho} $, $ E_{\rho} $ 의 이론적 점근적 근사에 얼마나 잘 부합하는가?
• RQ5 작은 $ \rho $ 영역에서 포아송 과정과 브라운 과정의 꼬리 행동은 비교 가능하며, 이는 통계적 양상의 타당한 근사를 가능하게 하는가?

주요 결과

• 작은 $ \rho $ 에서 포아송 기반 가능도 비율 과정 $ Z_{\rho} $ 는 브라운 기반 과정에 잘 근사되며, 이는 더 단순한 분석 도구의 사용을 가능하게 한다.
• $ \rho \to 0 $ 일 때, 베이지안 추정기의 한계 분산은 $ B_{\rho} \sim B_0 / \rho^2 $ 를 만족하며, 여기서 $ B_0 = 16\zeta(3) \approx 19.2329 $ 이고, MLE 분산은 $ M_{\rho} \sim M_0 / \rho^2 $ 를 만족하며, $ M_0 = 26 $ 이다.
• $ \rho \to \infty $ 일 때, $ B_{\rho} \to 1 $, $ M_{\rho} \to 2 $, 그리고 점근적 효율성 $ E_{\rho} \to 0.5 $ 로 수렴하며, 이는 큰 $ \rho $ 에서 MLE의 효율성이 감소함을 시사한다.
• 점근적 효율성 $ E_{\rho} $ 는 $ E_0 \approx 0.7397 $ (즉, $ \rho \to 0 $ 일 때) 와 $ E_\infty = 0.5 $ (즉, $ \rho \to \infty $ 일 때) 사이에 항상 존재하며, 이는 MLE가 항상 베이지안 추정기보다 효율성이 떨어짐을 나타낸다.
• 10^7회의 반복을 사용한 수치 시뮬레이션은 이론적 점근적 행동을 확인하였으며, $ \rho \to 0 $ 일 때 $ \rho^2 B_{\rho} \to B_0 $ 와 $ \rho^2 M_{\rho} \to M_0 $ 로 수렴하고, $ \rho \to \infty $ 일 때 $ B_{\rho} \to 1 $, $ M_{\rho} \to 2 $ 로 수렴함을 보였다.
• 포아송 과정의 꼬리 확률은 $ \rho \to 0 $ 일 때 지수적으로 감소하는 요소에 의해 브라운 과정의 꼬리 확률을 초과하며, 이는 근사의 타당성을 뒷받침한다.