[论文解读] Moment convergence in regularized estimations

H. Masuda, Yusuke Shimizu|arXiv (Cornell University)|Jun 26, 2014

Statistical Methods and Inference被引用 3

一句话总结

本文在非可微且非局部二次型的统计随机场中，建立了正则化M-估计量的矩收敛性，将Yoshida（2011）的多项式型大偏差框架扩展至多重率与混合率设定。核心贡献在于为一大类正则化估计量建立了强收敛模式，应用于高频遍历扩散过程。

ABSTRACT

In $M$-estimation under standard asymptotics, the weak convergence combined with the polynomial type large deviation estimate of the associated statistical random field Yoshida (2011) provides us with not only the asymptotic distribution of the associated $M$-estimator but also the convergence of its moments, the latter playing an important role in theoretical statistics. In this paper, we study the above program for statistical random fields of multiple and also possibly mixed-rates type in the sense of Radchenko (2008) where the associated statistical random fields may be non-differentiable and may fail to be locally asymptotically quadratic. Consequently, a very strong mode of convergence of a wide range of regularized $M$-estimators is ensured. The results are applied to regularized estimation of an ergodic diffusion observed at high frequency.

研究动机与目标

• 将标准M-估计的矩收敛结果扩展至具有多重或混合收敛速率的统计随机场。
• 解决非可微且非局部二次型随机场带来的挑战，此类情形使经典渐近方法失效。
• 在最小光滑性假设下，确保正则化M-估计量的强收敛性质。
• 将理论框架应用于高频遍历扩散过程的观测，这是连续时间统计中的关键统计模型。

提出的方法

• 将Yoshida（2011）的多项式型大偏差估计方法推广至多重率与混合率统计随机场。
• 提出一种广义的矩收敛框架，无需依赖可微性或局部二次性。
• 通过利用随机场收敛速率的结构，将该框架应用于正则化M-估计量。
• 利用底层随机过程（遍历扩散）的正则性，确保在高频采样下矩收敛的有效性。
• 通过结合适用于混合率的随机微积分与大偏差技术，建立矩收敛性。
• 通过结合渐近理论与非渐近偏差界，在弱收敛假设下推导出矩收敛结果。

实验结果

研究问题

• RQ1 当底层统计随机场不可微时，是否仍可建立正则化M-估计量的矩收敛性？
• RQ2 多重或混合收敛速率的存在如何影响M-估计量的矩收敛性？
• RQ3 多项式型大偏差框架在多大程度上可超越局部二次型与可微设定进行扩展？
• RQ4 在非标准渐近框架下，何种条件可确保正则化估计中矩的强收敛性？
• RQ5 该框架如何应用于高频观测下的遍历扩散过程？

主要发现

• 即使统计随机场不可微且不满足局部渐近二次性，本文仍建立了正则化M-估计量的矩收敛性。
• 该框架在混合率尺度下，确保了广泛类正则化估计量的极强收敛模式——矩收敛。
• 结果将Yoshida（2011）的矩收敛理论扩展至更一般且更现实的统计模型，包括具有不规则或非光滑估计函数的情形。
• 该方法在高频观测遍历扩散过程中应用成功，此时得分函数可能不光滑或非局部二次。
• 由于多项式型大偏差估计在混合率设定下的鲁棒性，矩收敛性在弱正则性条件下仍可保证。
• 该理论框架为非正规统计模型中的高阶渐近分析，特别是高频统计中的分析，提供了基础。