[论文解读] Minimax Semiparametric Learning With Approximate Sparsity

Jelena Bradić, Victor Chernozhukov+2 more|arXiv (Cornell University)|Dec 27, 2019

Statistical Methods and Inference被引用 4

一句话总结

本文建立了高维近似稀疏回归泛函（如回归系数、平均导数、平均处理效应）在使用Lasso基础估计与交叉拟合的去偏机器学习方法下，实现根n一致估计的极小极大最优条件。关键贡献在于证明了在最小近似稀疏性（$\xi_1 > 1/2$）或率双稳健性（$\xi_1\xi_2 > 1/4$）条件下，即可实现根n一致性，将先前结果推广至更广泛条件，且适用于最佳回归变量集合未知的情形。

ABSTRACT

Estimating linear, mean-square continuous functionals is a pivotal challenge in statistics. In high-dimensional contexts, this estimation is often performed under the assumption of exact model sparsity, meaning that only a small number of parameters are precisely non-zero. This excludes models where linear formulations only approximate the underlying data distribution, such as nonparametric regression methods that use basis expansion such as splines, kernel methods or polynomial regressions. Many recent methods for root-$n$ estimation have been proposed, but the implications of exact model sparsity remain largely unexplored. In particular, minimax optimality for models that are not exactly sparse has not yet been developed. This paper formalizes the concept of approximate sparsity through classical semi-parametric theory. We derive minimax rates under this formulation for a regression slope and an average derivative, finding these bounds to be substantially larger than those in low-dimensional, semi-parametric settings. We identify several new phenomena. We discover new regimes where rate double robustness does not hold, yet root-$n$ estimation is still possible. In these settings, we propose an estimator that achieves minimax optimal rates. Our findings further reveal distinct optimality boundaries for ordered versus unordered nonparametric regression estimation.

研究动机与目标

• 建立高维近似稀疏回归模型中线性、均方连续泛函根n一致估计的必要与充分条件。
• 将现有去偏机器学习估计器扩展，使其在弱于以往已知条件的更一般条件下实现根n一致性。
• 阐明近似稀疏性在决定根n估计可行性中的作用，尤其当最佳回归变量身份未知时。
• 开发在最小假设下仍保持根n一致性的估计器，包括非高斯误差与异方差性。
• 证明当Riesz表示子的稀疏率（$\xi_2$）满足$\xi_2 > 1/2$时，即使回归模型为稠密，也能单独确保根n一致性。

提出的方法

• 提出一种使用Lasso进行回归与偏差校正的去偏机器学习估计器，并采用特殊交叉拟合以确保渐近正态性。
• 采用两阶段估计程序：首先通过Lasso估计回归函数$\rho_0$，然后在影响函数上通过Lasso估计Riesz表示子$\alpha_0$。
• 使用分样本交叉拟合以解耦估计与估计误差，降低最终估计器的偏差。
• 应用截断算子$\tau_n$控制估计Riesz表示子的$L_1$-范数，确保稳定性。
• 利用回归与Riesz表示子的稀疏逼近率$s^{-\xi}$推导估计误差的理论界。
• 在最小条件下（包括$\xi_1 > 1/2$或$\xi_1\xi_2 > 1/4$）建立渐近正态性与一致方差估计。

实验结果

研究问题

• RQ1 在高维模型中，实现回归斜率或平均导数根n一致估计的稀疏逼近率$\xi_1$与$\xi_2$的最小条件是什么？
• RQ2 当最佳$s$个回归变量的身份未知时，根n估计的可行性如何变化？
• RQ3 在率双稳健性条件（$\xi_1\xi_2 > 1/4$）下，是否可在不依赖$\xi_1 > 1/2$的条件下实现根n一致性？
• RQ4 当回归为稠密（$\xi_1 \leq 1/2$）但Riesz表示子稀疏（$\xi_2 > 1/2$）时，是否仍可实现根n一致性？
• RQ5 交叉拟合与截断在高维半参数模型中确保根n一致性和渐近正态性的作用是什么？

主要发现

• 回归斜率或平均导数根n一致性的必要与充分条件为$\max\{\xi_1, \xi_2\} > 1/2$，该条件强于已知身份情况。
• 在最小条件$\xi_1 > 1/2$下可实现根n一致性，即使回归为稠密，只要Riesz表示子足够稀疏即可。
• 率双稳健性条件$\xi_1\xi_2 > 1/4$足以实现根n一致性，且适用范围广于以往条件。
• 无交叉拟合的估计器在$\xi_1 > 1/2$及额外正则性条件下（包括$\bar{\tau}_n \to \infty$与$\|\rho_n - \rho_0\|_2 \to 0$）可实现根n一致性，并具备一致方差估计。
• 图1中已知身份与未知身份条件之间的差距证实，当最佳回归变量未知时，估计难度显著提高。
• 所提出的估计器在最小稀疏性假设下实现渐近正态性$\sqrt{n}(\hat{\theta} - \theta_0) \overset{d}{\longrightarrow} N(0, V)$与一致方差估计。