[论文解读] Estimation and Uniform Inference in Sparse High-Dimensional Additive Models

Philipp Bach, Sven Klaaßen+2 more|arXiv (Cornell University)|Apr 3, 2020

Statistical Methods and Inference参考文献 33被引用 5

一句话总结

本文提出了一种在高维稀疏加法模型中对非参数分量进行统一推断的方法，采用小波估计法嵌入高维Z-估计框架，构建了针对第一分量 $ f_1 $ 的统一有效置信带。该方法利用稀疏性与去偏技术，确保在小样本下仍具有可靠的覆盖率，且在极少的高层假设下具备理论保证。

ABSTRACT

We develop a novel method to construct uniformly valid confidence bands for a nonparametric component $f_1$ in the sparse additive model $Y=f_1(X_1)+\ldots + f_p(X_p) + \varepsilon$ in a high-dimensional setting. Our method integrates sieve estimation into a high-dimensional Z-estimation framework, facilitating the construction of uniformly valid confidence bands for the target component $f_1$. To form these confidence bands, we employ a multiplier bootstrap procedure. Additionally, we provide rates for the uniform lasso estimation in high dimensions, which may be of independent interest. Through simulation studies, we demonstrate that our proposed method delivers reliable results in terms of estimation and coverage, even in small samples.

研究动机与目标

• 解决在预测变量数量 $ p $ 随样本量增长的高维加法模型中，为非参数分量构建统一有效置信带的挑战。
• 克服以往研究仅提供逐点推断或依赖于关于Lasso估计的强且不可验证假设的局限性。
• 开发一种方法，确保在整个第一分量 $ f_1 $ 的定义域上，置信带具有统一有效性，即使在小样本中亦成立。
• 明确并验证实现统一Lasso估计所必需的技术条件，以支持高维设定下的有效推断。
• 提供一个适用于稀疏高维加法模型的实用推断框架，并通过真实数据与模拟研究加以验证。

提出的方法

• 采用小波估计法，通过基展开（如B样条）近似非参数分量 $ f_j $，在高维设定下实现非参数灵活性。
• 将估计嵌入高维Z-估计框架，推导出 $ f_1 $ 的渐近正态性与统一推断性质，确保在整个函数空间上实现有效推断。
• 采用受双重机器学习与去偏Lasso启发的去偏技术，校正高维设定下的估计偏差，尤其针对目标分量 $ f_1 $。
• 应用稀疏性假设，将非零分量数量限制为 $ s $，以确保在高 $ p $ 情况下估计与推断仍可行。
• 通过 $ f_1 $ 的去偏估计量构建置信带，其统一覆盖率由控制经验过程的统一偏差与Lasso估计误差来保证。
• 利用Belloni等（2018）的理论结果，推导出估计误差的统一界，确保以高概率满足 $ \| \hat{f}_1 - f_1 \|_{L^2} \lesssim \sqrt{ s \log(a_n)/n } $。

实验结果

研究问题

• RQ1 能否在 $ p $ 随 $ n $ 增长的高维稀疏加法模型中，为非参数分量 $ f_1 $ 构建统一有效的置信带？
• RQ2 实现 $ f_1 $ 统一推断所需的最小技术假设是什么？这些假设在实践中如何验证？
• RQ3 与现有方法相比，该方法在覆盖精度与估计效率方面表现如何，特别是在小样本中？
• RQ4 稀疏性与高维Z-估计框架在多大程度上可实现可靠推断，而无需强分布或支撑集假设？
• RQ5 该方法在具有高维协变量与复杂加法结构的真实数据场景中是否具备实际可实施性？

主要发现

• 模拟研究证实，所提方法在小样本中仍能实现接近名义水平的统一有效置信带，覆盖率表现良好。
• 在稀疏性与正则性条件下，$ f_1 $ 的估计误差以高概率被统一控制，满足 $ \| \hat{f}_1 - f_1 \|_{L^2} \lesssim \sqrt{ s \log(a_n)/n } $。
• 该方法避免了以往研究中常见的不可验证高层假设（如Kozbur, 2015所述），通过明确并验证统一Lasso估计的技术要求，提升了方法的可解释性与实用性。
• 模拟结果表明，即使在 $ n = 100 $、$ p = 150 $ 的情况下，该方法仍能保持良好的覆盖率与估计性能，展现出有限样本下的稳健性。
• 基于真实数据的实证应用验证了该方法的可行性与实际效用，平滑参数通过一种尊重加法结构的启发式交叉验证程序选取。
• 在统一推断质量方面，该方法优于现有方法，因其构建的置信带在整个 $ f_1 $ 定义域上均有效，而非仅限于逐点区间。