[논문 리뷰] Optimal-order bounds on the rate of convergence to normality for maximum likelihood estimators

Iosif Pinelis|arXiv (Cornell University)|2016. 01. 10.

Mathematical Approximation and Integration참고 문헌 13인용 수 3

한 줄 요약

이 논문은 최대우도추정량(MLE)의 정규성 수렴 속도에 대해 콜모고로프 거리와 비균일 거리에서 최적의 순서 $O(1/ackslash sqrtackslash{n})$ 한계를 설정한다. 이는 독창적인 브라켓팅 기법을 통해 MLE를 i.i.d. 랜덤 벡터 합의 스무스 함수들 사이에 엄밀하게 끼워넣음으로써 달성되며, 이는 다변량 델타 방법의 적용을 가능하게 한다. 주요 기여는 MLE에 대해 최초로 최적의 순서 비균일 한계를 도출한 것으로, 이는 이전에 제한적인 파rametric 형태에 국한된 결과를 초월한다.

ABSTRACT

It is well known that under general regularity conditions the distribution of the maximum likelihood estimator (MLE) is asymptotically normal. Very recently, bounds of the optimal order $O(1/\sqrt n)$ on the closeness of the distribution of the MLE to normality in the so-called bounded Wasserstein distance were obtained, where $n$ is the sample size. However, the corresponding bounds on the Kolmogorov distance were only of the order $O(1/n^{1/4})$. In this note, bounds of the optimal order $O(1/\sqrt n)$ on the closeness of the distribution of the MLE to normality in the Kolmogorov distance are given, as well as their nonuniform counterparts, which work better for large deviations of the MLE. These results are based on previously obtained general optimal-order bounds on the rate of convergence to normality in the multivariate delta method. The crucial observation is that, under natural conditions, the MLE can be tightly enough bracketed between two smooth enough functions of the sum of independent random vectors, which makes the delta method applicable.

연구 동기 및 목표

• 기존 문헌에서 MLE의 콜모고로프 거리에 대해 최적의 순서 수렴 한계를 도출함으로써 격차를 메우는 것. 이전에는 $O(1/n^{1/4})$ 수준의 수렴 속도에 머물렀다.
• 일반 MLE에 대해 다변량 델타 방법의 적용 가능성을 넓히기 위해, MLE가 i.i.d. 랜덤 벡터 합의 스무스 함수들 사이에 엄밀하게 브라켓팅될 수 있음을 보이는 것.
• 꼬리 영역에서 유효한 비균일 한계를 제공함으로써 균일 한계를 개선하는 것. 특히 MLE 분포의 꼬리 영역에서 더 날카럽게 작용한다.
• 이전에 $q(\hat{\theta}) = \frac{1}{n}\sum g(X_i)$ 형태로 제약 조건이 필요로 하는 결과들을 일반 MLE 설정에서 성립하지 않는 경우에도 적용 가능한 일반화를 시도하는 것.
• 제안된 프레임워크가 $M$-추정량에 적용 가능하며, 카우시 분포와 비정규 지수-감마 분포와 같은 중요한 가족까지 포함함을 보여주는 것. 유일하게 제외되는 것은 정규 분포 및 극한 경우이다.

제안 방법

• 자연스러운 정규성 조건 하에 MLE가 i.i.d. 랜덤 벡터 합의 스무스 함수들 사이에 엄밀하게 브라켓팅되며, 이는 다변량 델타 방법의 적용을 가능하게 한다.
• 브라켓팅은 은둔함수정리와 로그우도의 스무스성에 기반하며, MLE가 표본 평균의 스무스 함수 주변의 제어 가능한 이웃에 놓여 있음을 보장한다.
• 기존 연구에서 유도된 일반적인 다변량 델타 방법 결과(Pinelis, 2020)와 브라켓팅을 조합함으로써 콜모고로프 거리에 대해 최적의 순서 $O(1/\sqrt{n})$ 한계를 도출한다.
• 비균일 한계는 로그볼록성 및 일반적인 모멘트 조건을 활용하여 尾확률 $\mathsf{P}(|\hat{\theta} - \theta_0| > \delta)$ 를 분석함으로써 구성된다.
• MLE가 고차수 도함수를 통한 제어가 가능한 스토하스틱 전개식을 만족함을 활용하는 것으로, 특히 $\ell^{\prime\prime\prime}_{x\theta\theta}$ 항의 고차수 도함수를 중심으로 한다.
• 핵심 기술적 단계로는 $\ell^{\prime\prime\prime}_{x\theta\theta}/\ell^{\prime\prime}_{x\theta}$ 비율이 $\theta$에만 의존하는 함수임을 보여주며, 이는 적분과 닫힌 형태의 브라켓팅 함수 구성에 기여한다.

실험 결과

연구 질문

• RQ1 표본 평균의 함수로 표현되지 않는 일반적인 MLE 설정에서, $q(\hat{\theta}) = \frac{1}{n}\sum g(X_i)$ 와 같은 파arametric 형태를 가정하지 않고도 MLE와 그 점근 정규분포 사이의 콜모고로프 거리에 대해 최적의 순서 $O(1/\sqrt{n})$ 한계를 설정할 수 있는가?
• RQ2 MLE에 대해 꼬리 영역에서 유효한 비균일 한계가 존재하며, 이들이 최적의 $O(1/\sqrt{n})$ 수렴 속도를 갖는가?
• RQ3 일반 MLE에 대해 다변량 델타 방법이 i.i.d. 랜덤 벡터 합의 스무스 함수들 사이의 엄밀한 브라켓팅을 통해 적용 가능한가?
• RQ4 이 프레임워크는 MLE를 초월한 $M$-추정량으로 확장될 수 있는가?
• RQ5 지수가족의 예시들(예: 카우시, 비정규 지수-감마 분포) 중에서 새로운 한계가 적용되지만 이전 결과(Pinelis, 2020)는 적용되지 않는 경우가 존재하는가?

주요 결과

• 논문은 MLE와 그 점근 정규분포 사이의 콜모고로프 거리에 대해 최적의 순서 $O(1/\sqrt{n})$ 한계를 설정함으로써, 이전에 $O(1/n^{1/4})$ 수준에 머물렀던 장기간의 격차를 해결한다.
• 이전 문헌에서 알려지지 않았던 MLE에 대한 비균일 한계가 도출되었으며, 이는 꼬리 영역에서 더 날카롭게 작용하고 최적의 $O(1/\sqrt{n})$ 수렴 속도를 확보한다.
• 자연스러운 정규성 조건 하에 MLE는 i.i.d. 랜덤 벡터 합의 스무스 함수들 사이에 엄밀하게 브라켓팅될 수 있으며, 이는 다변량 델타 방법의 적용 가능성을 보장한다.
• 표본 평균의 함수로 표현되지 않는 일반 MLE, 즉 카우시 분포와 같은 위치가족 및 비정규 지수-감마 분포와 같은 분포에도 적용 가능하다.
• 프레임워크는 MLE를 초월해 $M$-추정량으로까지 확장 가능하여 적용 범위를 넓힌다.
• 결과는 날카롭다: $O(1/\sqrt{n})$ 수렴 속도는 최적이며, 이는 이전 문헌에서 제시된 베르누이 가족 예시를 통해 입증되었다.