[논문 리뷰] Relative Performance of Expected and Observed Fisher Information in Covariance Estimation for Maximum Likelihood Estimates

Xumeng Cao|arXiv (Cornell University)|2013. 05. 05.

Simulation Techniques and Applications참고 문헌 49인용 수 4

한 줄 요약

이 논문은 최대우도추정(MLE)에 대한 표준 정규성 조건 하에서, 기대 피셔정보행렬(FIM)의 역행렬이 관측된 FIM의 역행렬보다 MLE의 공분산행렬 추정에서 더 우수함을 보여준다. 평균제곱오차 기준으로, 점점이론적으로 기대 FIM이 요소 수준에서 더 낮은 추정 오차를 낳는다. 이는 기존의 관측 FIM 선호 관례에 도전한다.

ABSTRACT

Maximum likelihood estimation is a popular method in statistical inference. As a way of assessing the accuracy of the maximum likelihood estimate (MLE), the calculation of the covariance matrix of the MLE is of great interest in practice. Standard statistical theory shows that the normalized MLE is asymptotically normally distributed with covariance matrix being the inverse of the Fisher information matrix (FIM) at the unknown parameter. Two commonly used estimates for the covariance of the MLE are the inverse of the observed FIM (the same as the inverse Hessian of the negative log-likelihood) and the inverse of the expected FIM (the same as the inverse FIM). Both of the observed and expected FIM are evaluated at the MLE from the sample data. In this dissertation, we demonstrate that, under reasonable conditions similar to standard MLE conditions, the inverse expected FIM outperforms the inverse observed FIM under a mean squared error criterion. Specifically, in an asymptotic sense, the inverse expected FIM (evaluated at the MLE) has no greater mean squared error with respect to the true covariance matrix than the inverse observed FIM (evaluated at the MLE) at the element level. This result is different from widely accepted results showing preference for the observed FIM. In this dissertation, we present theoretical derivations that lead to the conclusion above. We also present numerical studies on three distinct problems to support the theoretical result. This dissertation also includes two appendices on topics of relevance to stochastic systems. The first appendix discusses optimal perturbation distributions for the simultaneous perturbation stochastic approximation (SPSA) algorithm. The second appendix considers Monte Carlo methods for computing FIMs when closed forms are not attainable.

연구 동기 및 목표

• 최대우도추정(MLE)의 공분산 추정에서 기대 및 관측 피셔정보행렬(FIM)의 성능을 평가하고 비교하는 것.
• 표본 크기가 유한한 경우와 점점이론적 상황에서, 기대 또는 관측 FIM에 기반한 추정기 중 어느 것이 더 낮은 평균제곱오차를 낳는지 평가하는 것.
• 관측 FIM이 MLE 공분산 추정에서 더 우수하다는 널리 퍼진 믿음을 도전하는 것.
• 표준 MLE 정규성 조건 하에서 기대 FIM의 우수한 성능에 대한 이론적 근거와 수치적 검증을 제공하는 것.
• 닫힌 형태의 표현식이 없는 경우 FIM을 계산하기 위한 실용적인 방법을 탐색하는 것.

제안 방법

• MLE의 점점이론적 분포 이론과 두 번째 차수의 확률적 전개를 기반으로 한 이론적 분석.
• 요소 수준에서 관측 FIM의 역행렬과 기대 FIM의 역행렬 추정기의 평균제곱오차(MSE)를 유도하는 것.
• 정규성 조건 하에서 관측 FIM과 기대 FIM 간의 점점이론적 동치성을 활용하여 MSE 성능을 비교하는 것.
• 이론적 결과를 검증하기 위해 세 가지 다른 통계 모형에서의 수치 실험.
• 닫힌 형태의 FIM 표현식이 없는 모형에서 FIM 계산을 위해 몬테카를로 방법을 적용하는 것.
• SPSA에 관련된 확률적 근사에서 최적의 편향 분포를 도입하는 것.

실험 결과

연구 질문

• RQ1 기대 피셔정보행렬의 역행렬이 MLE 공분산행렬 추정에서 관측 FIM의 역행렬보다 더 낮은 평균제곱오차를 가지는가?
• RQ2 기대 FIM이 MLE 공분산 추정에서 MSE 측면에서 관측 FIM를 초월하는 조건은 무엇인가?
• RQ3 유한 표본 및 점점이론적 영역에서 기대 FIM의 성능은 관측 FIM에 비해 어떻게 다른가?
• RQ4 표준 MLE 정규성 조건 하에서 두 추정기 간의 이론적 MSE 비교가 가능할 수 있는가?
• RQ5 실제 통계적 추론에서 관측 FIM 대신 기대 FIM을 사용할 경우의 함의는 무엇인가?

주요 결과

• 기대 FIM의 역행렬은 점점이론적 영역에서 요소 수준에서 관측 FIM의 역행렬보다 더 높은 평균제곱오차를 가지지 않는다.
• 기대 FIM의 우수성은 최대우도추정의 표준 정규성 조건, 즉 우도 함수의 매끄러움성과 식별 가능성 조건 하에서도 유지된다.
• 세 가지 다른 모형에 대한 수치 연구는 이론적 예측과 일치하여, 기대 FIM이 공분산 추정에서 더 낮은 MSE를 낳음을 확인한다.
• 이 결과는 데이터로부터 직접 계산 가능한 관측 FIM이 더 우수하다는 널리 퍼진 인식에 도전한다.
• 기대 FIM은 둘 다 MLE에서 평가되더라도, MSE 기준으로 진정한 MLE 공분산행렬 추정기로서 더 정확한 것으로 밝혀졌다.
• 이 연구는 표준 오차 추정에서 기대 FIM의 사용을 재고할 이론적이고 경험적인 근거를 제공한다.