[论文解读] Asymptotics for minimisers of convex processes

Nils Lid Hjort, David Pollard|arXiv (Cornell University)|Jul 19, 2011

Statistical Methods and Inference参考文献 20被引用 158

一句话总结

本文提出了一种基于凸性的通用方法，用于证明通过最小化凸准则函数所获得估计量的一致性和渐近正态性。通过利用两个关键的凸性引理——凸随机过程在紧集上的一致收敛性，以及通过扰动函数逼近最优解——作者在比以往更弱的正则性条件下，为逻辑斯蒂回归和Cox回归建立了更简洁、更具普适性的证明。

ABSTRACT

By means of two simple convexity arguments we are able to develop a general method for proving consistency and asymptotic normality of estimators that are defined by minimisation of convex criterion functions. This method is then applied to a fair range of different statistical estimation problems, including Cox regression, logistic and Poisson regression, least absolute deviation regression outside model conditions, and pseudo-likelihood estimation for Markov chains. Our paper has two aims. The first is to exposit the method itself, which in many cases, under reasonable regularity conditions, leads to new proofs that are simpler than the traditional proofs. Our second aim is to exploit the method to its limits for logistic regression and Cox regression, where we seek asymptotic results under as weak regularity conditions as possible. For Cox regression in particular we are able to weaken previously published regularity conditions substantially.

研究动机与目标

• 开发一种统一的、通用的方法，用于证明由凸最小化定义的估计量的一致性和渐近正态性。
• 简化并统一一系列统计模型（包括逻辑斯蒂回归、Cox回归和最小绝对偏差回归）的现有证明。
• 在逻辑斯蒂回归和Cox回归中，弱化渐近结果所需的正则性条件，特别是显著放松Cox回归中对基线风险和协变量依赖性的假设。
• 通过提供易于理解的证明，展示该方法在教学上的价值，同时为专家提供高级结果。
• 提供一个可扩展至标准模型之外的框架，包括马尔可夫链的伪似然估计和泊松回归。

提出的方法

• 利用引理1：基于逐点收敛性和凸性，推导出凸随机过程在紧集上概率意义上的统一收敛性。
• 采用引理2：基于上范数偏差和最小值处的曲率，对随机凸函数的最优解与扰动版本的最优解之间的距离给出概率界。
• 将最优解逼近框架应用于重标度并中心化的准则函数，以推导渐近正态性。
• 通过最优解的可测选择，确保在凸性条件下估计量有良好定义且可测。
• 通过准则函数的适当逼近，将该方法应用于具有对数凹似然函数的模型，包括逻辑斯蒂回归和Cox回归。
• 使用辅助引理，如控制收敛定理（用于概率收敛）和泰勒展开余项控制，以处理随机过程中的误差。

实验结果

研究问题

• RQ1 能否开发一种单一的通用方法，用于证明由凸最小化定义的估计量的一致性和渐近正态性？
• RQ2 在逻辑斯蒂回归和Cox回归中，正则性条件能在多大程度上被弱化，同时仍保持渐近正态性？
• RQ3 如何利用凸性避免在分别证明一致性和渐近正态性时通常采用的特殊化论证？
• RQ4 该方法在多大程度上简化或统一了经典模型（如最小二乘、最小绝对偏差和最大似然）中的现有证明？
• RQ5 该方法能否扩展至非正则模型，如马尔可夫链的伪似然估计或在最小假设下的泊松回归？

主要发现

• 该方法仅基于凸性和一致收敛性，提供了一个统一的框架，用于证明一致性和渐近正态性，避免了复杂的基于导数的论证。
• 对于逻辑斯蒂回归，该方法在比以往更弱的正则性条件下实现了渐近正态性，特别是放松了对矩和光滑性的要求。
• 在Cox回归中，本文显著弱化了实现渐近正态性所需的正则性条件，尤其放松了对基线风险和协变量依赖性的假设，优于早期结果。
• 使用最优解逼近引理（引理2）可直接控制估计量的收敛性，而无需假设最小值处的可微性或严格凸性。
• 该方法为标准模型（如最小绝对偏差回归和泊松回归）提供了更简洁、更透明的证明，即使在标准模型假设之外也适用。
• 理论工具如控制收敛引理（用于概率收敛，引理A3）被证明可简化半参数模型中随机积分和Lindeberg型条件的分析。