[论文解读] Optimal-order bounds on the rate of convergence to normality for maximum likelihood estimators

Iosif Pinelis|arXiv (Cornell University)|Jan 10, 2016

Mathematical Approximation and Integration参考文献 13被引用 3

一句话总结

本文通过一种新颖的夹逼技术，建立了最大似然估计量（MLE）在 Kolmogorov 距离与非均匀距离下收敛到正态分布的最优阶 $O(1/ar{\sqrt{n}})$ 界，该技术将 MLE 紧密夹逼在和为 i.i.d. 随机向量的光滑函数之间，从而可应用多变量 delta 方法。关键贡献在于首次推导出 MLE 的最优阶非均匀界，将先前结果从限制性参数形式中拓展出来。

ABSTRACT

It is well known that under general regularity conditions the distribution of the maximum likelihood estimator (MLE) is asymptotically normal. Very recently, bounds of the optimal order $O(1/\sqrt n)$ on the closeness of the distribution of the MLE to normality in the so-called bounded Wasserstein distance were obtained, where $n$ is the sample size. However, the corresponding bounds on the Kolmogorov distance were only of the order $O(1/n^{1/4})$. In this note, bounds of the optimal order $O(1/\sqrt n)$ on the closeness of the distribution of the MLE to normality in the Kolmogorov distance are given, as well as their nonuniform counterparts, which work better for large deviations of the MLE. These results are based on previously obtained general optimal-order bounds on the rate of convergence to normality in the multivariate delta method. The crucial observation is that, under natural conditions, the MLE can be tightly enough bracketed between two smooth enough functions of the sum of independent random vectors, which makes the delta method applicable.

研究动机与目标

• 通过推导 MLE 在 Kolmogorov 距离下的最优阶收敛界，填补现有文献中的空白，此前仅能达到 $O(1/n^{1/4})$ 的速率。
• 通过证明 MLE 可被紧密夹逼在 i.i.d. 随机向量和的光滑函数之间，将多变量 delta 方法的应用范围扩展至一般 MLE。
• 提供非均匀界——在尾部区域有效——其精度优于均匀界，尤其在 MLE 分布的尾部表现更优。
• 推广先前结果，这些结果依赖于如 $q(\hat{\theta}) = \frac{1}{n}\sum g(X_i)$ 等限制性假设，而这些假设在一般 MLE 设置下并不成立。
• 展示所提框架适用于 $M$-估计量，并涵盖重要分布族如柯西分布和非正态指数-伽马分布，仅排除正态分布和极限情形。

提出的方法

• 在自然正则性条件下，MLE 被紧密夹逼在 i.i.d. 随机向量和的两个光滑函数之间，从而可应用多变量 delta 方法。
• 夹逼依赖于隐函数定理及对数似然函数的光滑性，确保 MLE 位于经验均值的光滑函数的受控邻域内。
• 通过结合夹逼技术与先前工作（Pinelis, 2020）中的一般多变量 delta 方法结果，推导出 Kolmogorov 距离的最优阶 $O(1/\sqrt{n})$ 界。
• 通过分析尾部概率 $\mathsf{P}(|\hat{\theta} - \theta_0| > \delta)$，利用对数凹性和一般矩条件，构建非均匀界。
• 该方法利用了 MLE 满足可控制的随机展开式，可通过对数似然函数的高阶导数（特别是 $\ell^{\prime\prime\prime}_{x\theta\theta}$）进行控制。
• 一个关键技术步骤是证明比值 $\ell^{\prime\prime\prime}_{x\theta\theta}/\ell^{\prime\prime}_{x\theta}$ 仅为 $\theta$ 的函数，从而可进行积分并构造闭式夹逼函数。

实验结果

研究问题

• RQ1 能否在不假设如 $q(\hat{\theta}) = \frac{1}{n}\sum g(X_i)$ 等参数形式的前提下，建立 MLE 与渐近正态分布之间 Kolmogorov 距离的最优阶 $O(1/\sqrt{n})$ 界？
• RQ2 MLE 是否存在非均匀界——在尾部区域有效——并能以最优的 $O(1/\sqrt{n})$ 速率推导出？
• RQ3 能否通过 i.i.d. 随机向量和的光滑函数之间的紧密夹逼，使多变量 delta 方法适用于一般 MLE？
• RQ4 该框架能否扩展至 MLE 之外的 $M$-估计量？
• RQ5 是否存在指数族（如柯西分布、非正态指数-伽马分布）的例子，使得新界适用，而先前结果（如 Pinelis, 2020）不适用？

主要发现

• 本文建立了 MLE 与渐近正态分布之间 Kolmogorov 距离的最优阶 $O(1/\sqrt{n})$ 界，解决了长期存在的空白问题，此前的界仅为 $O(1/n^{1/4})$。
• 首次在文献中推导出 MLE 的非均匀界，其在尾部区域更紧致，并且同样达到最优的 $O(1/\sqrt{n})$ 速率。
• 在自然正则性条件下，MLE 可被紧密夹逼在 i.i.d. 随机向量和的两个光滑函数之间，从而使多变量 delta 方法得以应用。
• 该方法适用于一般 MLE，不仅限于可表示为样本均值函数的 MLE，包括柯西分布等位置族及非正态指数-伽马分布。
• 该框架可扩展至 $M$-估计量，显著拓宽了适用范围。
• 结果是紧致的：$O(1/\sqrt{n})$ 速率是最优的，如先前文献中伯努利族的例子所示。