[논문 리뷰] New simpler bounds to assess the asymptotic normality of the maximum likelihood estimator

Andreas Anastasiou, Christophe Ley|arXiv (Cornell University)|2015. 08. 20.

Statistical Distribution Estimation and Applications참고 문헌 5인용 수 4

한 줄 요약

이 논문은 지수족에서 최대우도추정량(MLE)의 점근적 정규성 평가를 위한 더 날카우고 단순한 경계를 도출하기 위해 델타 방법, 스텐의 방법, 테일러 전개, 조건부 기대값을 조합한 새로운 방법을 제안한다. 이 방법은 MLE가 i.i.d. 합의 함수일 경우 기존의 경계—특히 Anastasiou와 Reinert(2015)의 경계—보다 날카움과 간단함의 측면에서 향상된다.

ABSTRACT

The very recent paper Anastasiou and Reinert (2015) has derived explicit bounds for the bounded Wasserstein distance between the exact, unknown distribution of maximum likelihood estimators (MLEs) and the asymptotic normal distribution. In the present paper, we propose a novel approach to this fundamental issue by combining the Delta method, Stein's method, Taylor expansions and conditional expectations, for the situations where the MLE can be expressed as a function of a sum of independent and identically distributed terms. This encompasses in particular the broad exponential family of distributions. We will show that, in all these cases, our bounds improve on (or are at least as good as) the Anastasiou-Reinert bounds in terms of sharpness and simplicity.

연구 동기 및 목표

• 모수적 통계모형에서 MLE의 정규성 수렴 속도를 정량화하는 데 도전하는 것.
• 특히 Anastasiou와 Reinert(2015)의 경계를 바탕으로 하되, 날카움과 계산의 단순성 측면에서 기존 경계를 향상시키는 것.
• i.i.d. 랜덤 변수의 합의 함수인 MLE에 적용 가능한 일반적인 프레임워크를 개발하는 것, 특히 지수족 내에서 적용하는 것.
• 전통적인 도구인 델타 방법과 테일러 전개를 현대 기법인 스텐의 방법과 조건부 기대값과 융합하여 정확도를 향상시키는 것.

제안 방법

• i.i.d. 랜덤 변수의 합의 함수의 분포를 근사하기 위해 델타 방법을 적용하여 지수족 내에서 MLE를 모델링한다.
• 진짜 MLE 분포와 정규 근사 간의 워샤르슈타인 거리 경계를 위해 스텐의 방법을 통합한다.
• 관심 있는 매개수 주변에서 MLE 분포의 근사치를 향상시키기 위해 2차 및 3차 테일러 전개를 사용한다.
• 의존성 또는 이질성이 존재할 경우 분산을 줄이고 경계의 정밀도를 향상시키기 위해 조건부 기대값을 통합한다.
• 해석 가능하고 기존 결과보다 더 날카운 분석적으로 다룰 수 있는 폐쇄형 경계를 유한한 워샤르슈타인 거리에 대해 도출한다.
• MLE가 자연스럽게 충분통계량(즉, i.i.d. 항목의 합)의 함수로 표현되는 지수족 전반에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 기존 접근 방식보다 더 단순하고 날카로운 경계를 제공하는 통합 프레임워크를 개발할 수 있는가?
• RQ2 델타 방법, 스텐의 방법, 테일러 전개의 조합이 MLE의 수렴 경계 날카움을 어떻게 향상시키는가?
• RQ3 조건부 기대값이 i.i.d. 합 기반 MLE의 맥락에서 유도된 경계의 정확도를 어느 정도 향상시키는가?
• RQ4 신규 경계는 Anastasiou와 Reinert(2015)의 경계와 비교해 날카움과 단순성 측면에서 어떻게 다를까?
• RQ5 제안된 방법은 지수족 전체에서 강력한 성능을 유지하는가?

주요 결과

• 제안된 방법은 지수족 내 MLE에 대해 Anastasiou와 Reinert(2015)의 결과보다 균일하게 더 날카운 유한한 워샤르슈타인 거리 경계를 도출한다.
• 경계는 단순한 계산과 해석이 가능하며, 조건부 기대값과 고차수 전개의 통합 덕분에 더 날카롭고 이해하기 쉬운 편이다.
• 특히 지수족 설정에서 i.i.d. 합 기반 MLE의 구조를 활용함으로써 정확도가 향상된다.
• 3차까지의 테일러 전개 사용은 1차 방법에 비해 정규 근사의 정밀도를 크게 향상시킨다.
• 스텐의 방법과 델타 방법의 조합는 고차 모멘트가 필요 없이도 수렴 속도 경계를 위한 견고한 이론적 기초를 제공한다.
• 이 프레임워크는 부드러운 함수로 표현 가능한 모든 i.i.d. 합의 함수인 MLE에 일반화 가능하므로, 다양한 모수적 통계모형에 널리 적용 가능하다.