[论文解读] A projection pursuit framework for testing general high-dimensional hypothesis

Yinchu Zhu, Jelena Bradić|arXiv (Cornell University)|May 2, 2017

Advanced Statistical Methods and Models参考文献 33被引用 12

一句话总结

本文提出了一种新颖的投影追踪框架，用于检验高维假设，其中变量数量远超样本量。通过在原假设空间上定义一类新的l1投影，该方法实现了对复杂、非凸及高维假设（如稀疏性水平、最小信号强度和二次型函数）的渐近精确推断，同时保持了强大的有限样本性能和检验效能。

ABSTRACT

This article develops a framework for testing general hypothesis in high-dimensional models where the number of variables may far exceed the number of observations. Existing literature has considered less than a handful of hypotheses, such as testing individual coordinates of the model parameter. However, the problem of testing general and complex hypotheses remains widely open. We propose a new inference method developed around the hypothesis adaptive projection pursuit framework, which solves the testing problems in the most general case. The proposed inference is centered around a new class of estimators defined as $l_1$ projection of the initial guess of the unknown onto the space defined by the null. This projection automatically takes into account the structure of the null hypothesis and allows us to study formal inference for a number of long-standing problems. For example, we can directly conduct inference on the sparsity level of the model parameters and the minimum signal strength. This is especially significant given the fact that the former is a fundamental condition underlying most of the theoretical development in high-dimensional statistics, while the latter is a key condition used to establish variable selection properties. Moreover, the proposed method is asymptotically exact and has satisfactory power properties for testing very general functionals of the high-dimensional parameters. The simulation studies lend further support to our theoretical claims and additionally show excellent finite-sample size and power properties of the proposed test.

研究动机与目标

• 解决在个体参数检验之外的高维推断中，针对一般性、非凸性和复杂性假设存在的关键空白。
• 开发一种统一的推断框架，无论原假设集合的几何结构如何，均能实现渐近精确性。
• 实现对高维基本条件（如稀疏性水平和最小信号强度（beta-min条件））的正式检验，这些条件在实践中通常被假设但未经验证。
• 为高维模型中广泛类别的函数型统计量提供稳健的非渐近检验，具备令人满意的功效和大小控制。

提出的方法

• 提出一种基于初始估计量向原假设空间进行l1投影的假设自适应投影追踪框架。
• 将一类新估计量定义为初始猜测在原假设集上的l1-正则化投影，从而自动编码原假设的结构特征。
• 采用两样本分割程序以解耦估计与推断过程，提升检验的稳定性和有效性。
• 采用基于自助法的方法近似检验统计量的抽样分布，从而实现精确的p值计算。
• 运用反浓度不等式和次高斯尾部界，控制原假设下检验统计量的集中性。
• 基于高维渐近理论推导理论保证，包括收敛速率和在复杂原假设集上的统一性。

实验结果

研究问题

• RQ1 我们能否构建一种适用于高维假设的一般性渐近精确检验方法，其适用范围不仅限于单个坐标或凸集？
• RQ2 是否能够对高维参数向量的稀疏性水平进行正式检验？这一条件是高维统计中大多数理论结果的基础。
• RQ3 我们能否为beta-min条件开发一个有效的检验方法？该条件是变量选择一致性的关键但通常不可验证的假设。
• RQ4 在高维模型中，如何对一般函数型统计量（如参数向量的二次型，例如信噪比）进行检验？
• RQ5 在多种高维设定下，所提出检验的有限样本性能（包括大小和功效）如何？

主要发现

• 所提方法对广泛的高维原假设集（包括非凸和复杂集合）实现了渐近精确性。
• 通过大量模拟研究验证，该检验在有限样本下保持了优异的大小控制和功效。
• 该方法实现了对稀疏性水平∥β∗∥0 ≤ c的正式推断，这一条件此前在高维情形下无法检验。
• 首次提供了对beta-min条件（即minj∈S0 |β∗,j| ≥ c）的渐近精确检验，该条件对变量选择一致性至关重要。
• l1投影估计量在原假设下达到最优收敛速率，满足∥ˆβd − β∗∥1 ≤ 2∥ˆβu − β∗∥1，确保了稳健性。
• 理论分析表明，检验统计量的分布可被自助法良好近似，且在高维参数空间上具有统一控制。