[论文解读] Deterministic Inequalities for Smooth M-estimators

Arun Kumar Kuchibhotla|arXiv (Cornell University)|Sep 13, 2018

Statistical Methods and Inference参考文献 35被引用 5

一句话总结

本文利用巴拿赫不动点定理，为平滑 M-估计量引入了确定性不等式，实现了无需依赖随机过程的有限样本界和一致收敛结果。它建立了关于子模型的一致收敛性，并在一般依赖结构下实现了后选择推断，应用涵盖交叉验证、边际筛选和 PoSI 问题。

ABSTRACT

Ever since the proof of asymptotic normality of maximum likelihood estimator by Cramer (1946), it has been understood that a basic technique of the Taylor series expansion suffices for asymptotics of $M$-estimators with smooth/differentiable loss function. Although the Taylor series expansion is a purely deterministic tool, the realization that the asymptotic normality results can also be made deterministic (and so finite sample) received far less attention. With the advent of big data and high-dimensional statistics, the need for finite sample results has increased. In this paper, we use the (well-known) Banach fixed point theorem to derive various deterministic inequalities that lead to the classical results when studied under randomness. In addition, we provide applications of these deterministic inequalities for crossvalidation/subsampling, marginal screening and uniform-in-submodel results that are very useful for post-selection inference and in the study of post-regularization estimators. Our results apply to many classical estimators, in particular, generalized linear models, non-linear regression and cox proportional hazards model. Extensions to non-smooth and constrained problems are also discussed.

研究动机与目标

• 开发平滑 M-估计量的有限样本确定性界，避免依赖随机过程近似。
• 利用确定性工具统一依赖和高维设定下的渐近分析。
• 为后选择和后正则化估计量实现关于子模型的一致推断。
• 提供一种框架，用于构建在模型选择中具有同时覆盖保证的置信区域。
• 通过确定性余项界，将经典渐近结果扩展至非独立同分布和高维设定。

提出的方法

• 基于带显式余项界的标准展开，利用巴拿赫不动点定理推导出基于 M-估计量的确定性不等式。
• 对估计函数进行一阶泰勒展开，控制余项以推导收敛速率和误差界。
• 通过余项项的确定性控制，建立估计量在模型集合上的统一收敛性。
• 推导出估计误差的显式界：$\|\hat{\beta}_{n,M} - \beta_{n,M}\|_2 \leq \left[\max_i C(\|X_i(M)\|_2 \delta_{n,M}) - 1\right]\delta_{n,M}$，在 Hessian 和梯度满足某条件时成立。
• 在 $M \in \mathcal{M}$ 上一致地使用线性展开 $\hat{\beta}_{n,M} - \beta_{n,M} = (1 + o_p(1)) [\nabla^2 \hat{L}_{n,M}(\beta_{n,M})]^{-1} \nabla \hat{L}_{n,M}(\beta_{n,M})$。
• 通过确保在子模型间的一致收敛性，将该框架应用于后选择推断、边际筛选和交叉验证。

实验结果

研究问题

• RQ1 能否为平滑 M-估计量推导出确定性不等式，从而在不依赖随机过程理论的情况下获得有限样本界？
• RQ2 如何利用确定性工具在一般依赖结构下建立模型集合上的一致收敛性？
• RQ3 在高维或非独立同分布设定下，通过确定性分析，何种条件可保证 M-估计量的存在性和唯一性？
• RQ4 能否通过确定性不等式而非渐近近似，推导出后选择推断的保证？
• RQ5 该框架能否扩展至非平滑或约束 M-估计量？

主要发现

• 本文建立了一个确定性不等式，在条件 $\max_i C(\|X_i(M)\|_2 \delta_{n,M}) \leq \frac{4}{3}$ 下，确保了 M-估计量 $\hat{\beta}_{n,M}$ 的存在性和唯一性。
• 它提供了统一的误差界：$\|\hat{\beta}_{n,M} - \beta_{n,M} + [\nabla^2 \hat{L}_{n,M}(\beta_{n,M})]^{-1} \nabla \hat{L}_{n,M}(\beta_{n,M})\|_2 \leq \left[\max_i C(\|X_i(M)\|_2 \delta_{n,M}) - 1\right]\delta_{n,M}$。
• 线性展开 $\hat{\beta}_{n,M} - \beta_{n,M} = (1 + o_p(1)) [\nabla^2 \hat{L}_{n,M}(\beta_{n,M})]^{-1} \nabla \hat{L}_{n,M}(\beta_{n,M})$ 在 $M \in \mathcal{M}$ 上一致成立，从而支持基于自助法的推断。
• 该框架通过确保 $\sup_{M \in \mathcal{M}} \|\hat{\beta}_{n,M} - \beta_{n,M}\|_2 = o_p(1)$ 支持后选择推断，这是构造勒贝格测度趋于零的置信区域的必要条件。
• 该结果适用于广义线性模型、非线性回归和 Cox 比例风险模型，前提是损失函数光滑且二阶可微。
• 该方法支持关于子模型的一致推断，包括 PoSI（后选择推断）问题，通过确保 $\mathcal{M}$ 中所有模型的同步覆盖。