[论文解读] New simpler bounds to assess the asymptotic normality of the maximum likelihood estimator

Andreas Anastasiou, Christophe Ley|arXiv (Cornell University)|Aug 20, 2015

Statistical Distribution Estimation and Applications参考文献 5被引用 4

一句话总结

本文提出了一种新方法，结合Delta方法、Stein方法、泰勒展开以及条件期望，推导出指数族中最大似然估计量（MLE）渐近正态性的更紧致且更简洁的界。该方法在MLE为独立同分布和函数时，相较于先前的界（尤其是Anastasiou与Reinert, 2015年提出的界），在紧致性和简洁性方面均有改进。

ABSTRACT

The very recent paper Anastasiou and Reinert (2015) has derived explicit bounds for the bounded Wasserstein distance between the exact, unknown distribution of maximum likelihood estimators (MLEs) and the asymptotic normal distribution. In the present paper, we propose a novel approach to this fundamental issue by combining the Delta method, Stein's method, Taylor expansions and conditional expectations, for the situations where the MLE can be expressed as a function of a sum of independent and identically distributed terms. This encompasses in particular the broad exponential family of distributions. We will show that, in all these cases, our bounds improve on (or are at least as good as) the Anastasiou-Reinert bounds in terms of sharpness and simplicity.

研究动机与目标

• 为量化参数统计模型中MLE收敛到正态性的速率提供解决方案。
• 在紧致性和计算简洁性两方面，改进现有界，特别是Anastasiou与Reinert（2015）提出的界。
• 为可表示为独立同分布随机变量和的函数的MLE，构建一个通用框架，尤其适用于指数族。
• 将经典工具（如Delta方法和泰勒展开）与现代技术（如Stein方法和条件期望）结合，以提升精度。

提出的方法

• 应用Delta方法近似独立同分布随机变量和的函数的分布，该分布用于建模指数族中的MLE。
• 结合Stein方法，以界定向量Wasserstein距离，即真实MLE分布与正态近似之间的距离。
• 使用二阶与三阶泰勒展开，对参数感兴趣点附近的MLE分布进行更精细的近似。
• 引入条件期望，以降低依赖性或异质性存在时的方差，提升界值的精度。
• 推导出有界Wasserstein距离的显式闭式界，这些界在分析上易于处理，且比以往结果更紧致。
• 在指数族中验证该方法，其中MLE自然地表示为充分统计量（即独立同分布项之和）的函数。

实验结果

研究问题

• RQ1 能否开发一个统一框架，以更简洁且更紧致的方式界定MLE收敛到正态性的速率，优于现有方法？
• RQ2 Delta方法、Stein方法与泰勒展开的结合，如何提升MLE收敛界值的紧致性？
• RQ3 在基于独立同分布和的MLE背景下，条件期望在多大程度上提升了所推导界值的准确性？
• RQ4 新界值在紧致性和简洁性方面，与Anastasiou与Reinert（2015）的界值相比，其定量比较结果如何？
• RQ5 所提出的方法是否在整个指数族分布中均保持优异性能？

主要发现

• 所提方法对指数族中MLE的有界Wasserstein距离所得界值，统一地比Anastasiou与Reinert（2015）的界值更紧致。
• 这些界值不仅更紧致，而且由于整合了条件期望与高阶展开，计算与解释更为简便。
• 该方法通过利用基于独立同分布和的MLE结构，特别是指数族设定下的结构，显著提升了精度。
• 使用至三阶的泰勒展开，相较于一阶方法，显著增强了正态近似的精度。
• Stein方法与Delta方法的结合，为界定收敛速率提供了稳健的理论基础，且无需依赖高阶矩。
• 该框架可推广至所有可表示为独立同分布和的光滑函数的MLE，因此在参数统计模型中具有广泛适用性。