[论文解读] Variable selection in high-dimensional additive models based on norms of projections

Martin Wahl|arXiv (Cornell University)|May 31, 2014

Statistical Methods and Inference参考文献 21被引用 5

一句话总结

该论文提出了一种新颖的高维加法模型变量选择方法，基于投影到加法子空间上的范数，利用希尔伯特空间几何与集中不等式。在最小几何假设下，建立了变量选择一致性的条件，并表明即使其他分量未知，单个分量仍可达到最优估计速率。

ABSTRACT

We consider the problem of variable selection in high-dimensional sparse additive models. We focus on the case that the components belong to nonparametric classes of functions. The proposed method is motivated by geometric considerations in Hilbert spaces and consists of comparing the norms of the projections of the data onto various additive subspaces. Under minimal geometric assumptions, we prove concentration inequalities which lead to new conditions under which consistent variable selection is possible. As an application, we establish conditions under which a single component can be estimated with the rate of convergence corresponding to the situation in which the other components are known.

研究动机与目标

• 解决高维稀疏加法模型中的变量选择问题，其中协变量数量远超样本量。
• 开发一种基于希尔伯特空间几何的方法，通过比较投影到加法子空间上的经验范数进行选择。
• 建立在非参数加法模型中实现一致变量选择的理论条件。
• 推导出在何种条件下可实现单个分量的最优率估计（如同其他分量已知一般）。

提出的方法

• 该方法选择响应变量在对应加法子空间上投影范数最大的协变量子集。
• 其基于总体层面的选择准则依赖于加法子空间之间的几何分离性，要求它们之间的最小夹角远离零。
• 该方法依赖于经验范数在 $L^2(\mathbb{P}^X)$-范数附近的强一致集中性，其推导基于结构化随机矩阵理论的工具。
• 在协变量独立的情况下，建立了受限（块）等距性质，与压缩感知框架相联系。
• 通过使用卡方与高斯混沌项的集中不等式来控制估计误差。
• 对所有候选子集应用并集界，以确保变量选择在高概率下的一致性。

实验结果

研究问题

• RQ1 能否基于投影范数的几何准则，在高维非参数加法模型中实现一致的变量选择？
• RQ2 在何种几何与概率条件下，投影范数方法可实现对相关变量的一致选择？
• RQ3 当其他分量未知时，能否在高维设定下实现单个分量的极小化最大最优率估计？
• RQ4 该方法的性能与Lasso或指数加权等现有高维回归方法相比如何？
• RQ5 加法子空间之间的最小夹角在确保一致变量选择中起何种作用？

主要发现

• 在最小几何假设下，即不同加法子空间之间的最小夹角远离零，该方法可实现一致的变量选择。
• 遗漏相关变量的概率被控制为三项之和，每一项均通过卡方与高斯混沌的集中不等式进行控制。
• 前两项随样本量呈指数衰减，衰减速率取决于候选子空间的维数及分量间的分离程度。
• 第三项涉及与噪声的内积，通过高斯集中性与受限（块）等距性质进行有界控制。
• 在设计与分量光滑性满足适当条件时，该方法可确保单个分量以对应于所有其他分量已知情形的最优速率进行估计。
• 该理论框架推广了压缩感知中的结果，并为非参数加法模型中的一致估计提供了新条件。