[论文解读] Breaking the curse of dimensionality in regression

Yinchu Zhu, Jelena Bradić|arXiv (Cornell University)|Aug 1, 2017

Statistical Methods and Inference参考文献 41被引用 8

一句话总结

本文提出了GRoup-level Inference of Parameter（GRIP）检验，这是一种新颖的矩匹配方法，通过在特征间借用信息，克服了高维回归中的维度灾难问题。GRIP在一般稀疏结构下实现了有效的多重检验，包括混合稀疏与密集信号，模拟结果表明其在错误控制方面优于现有方法，并展现出极小极大最优性。

ABSTRACT

Models with many signals, high-dimensional models, often impose structures on the signal strengths. The common assumption is that only a few signals are strong and most of the signals are zero or close (collectively) to zero. However, such a requirement might not be valid in many real-life applications. In this article, we are interested in conducting large-scale inference in models that might have signals of mixed strengths. The key challenge is that the signals that are not under testing might be collectively non-negligible (although individually small) and cannot be accurately learned. This article develops a new class of tests that arise from a moment matching formulation. A virtue of these moment-matching statistics is their ability to borrow strength across features, adapt to the sparsity size and exert adjustment for testing growing number of hypothesis. GRoup-level Inference of Parameter, GRIP, test harvests effective sparsity structures with hypothesis formulation for an efficient multiple testing procedure. Simulated data showcase that GRIPs error control is far better than the alternative methods. We develop a minimax theory, demonstrating optimality of GRIP for a broad range of models, including those where the model is a mixture of a sparse and high-dimensional dense signals.

研究动机与目标

• 开发一种对具有混合信号强度（包括稀疏和密集成分）的高维模型具有鲁棒性的多重检验程序。
• 解决现有方法依赖严格稀疏性假设的局限性，这些假设在脑连接性或基因集分析等现实应用中常常失效。
• 为高维线性模型中的组或多元检验提供有效的推断，其中 p ≫ n 且待检验的信号数量在增长。
• 在包括混合稀疏-密集信号结构在内的广泛模型类中，建立所提方法的极小极大最优性。
• 为在零假设可能不稀疏的模型中（例如密集信号的参数变换）的参数提供置信区间和假设检验。

提出的方法

• 提出一种矩匹配公式化方法，构建在特征间借用信息的检验统计量，从而提高检验效能和鲁棒性。
• 引入GRIP检验作为一种层次组推断程序，可自适应未知稀疏性大小，并调整不断增长的假设数量。
• 在原假设下使用条件高斯近似作为检验统计量，利用在弱矩条件下的渐近正态性。
• 采用去偏策略来估计高维参数向量，即使在信号微弱或整体密集时也能保证一致估计。
• 应用依赖随机向量最大值的统一中心极限定理，以在高维设置下控制家庭错误率。
• 基于高斯过程最大值的分位数推导临界值，并通过次高斯和次指数范数界进行调整。

实验结果

研究问题

• RQ1 能否开发一种多重检验程序，使得在信号并非严格稀疏时，仍能在高维回归中保持有效的错误控制？
• RQ2 当零假设涉及非稀疏参数（如密集信号的参数变换）时，如何使推断具有鲁棒性？
• RQ3 在具有混合稀疏与密集信号的模型中，测试错误的最优速率是什么？能否通过一种实用方法实现？
• RQ4 能否构建一种可自适应未知稀疏性大小且在检验参数数量增长时仍保持有效的检验方法？
• RQ5 所提方法是否在包括混合信号结构在内的广泛高维模型类中达到极小极大最优性？

主要发现

• GRIP在包括混合稀疏与密集信号在内的广泛高维模型类中实现了极小极大最优错误率。
• 模拟结果表明，GRIP在错误控制方面显著优于其他方法，尤其在密集或混合信号情形下。
• 即使零假设不稀疏（例如 β₀ 的非零元素数量级为 n 或更大），该方法仍能保持有效的第一类错误控制。
• 理论分析证实，检验统计量的渐近分布可被高斯过程良好近似，从而实现临界值的精确校准。
• GRIP检验可自适应未知稀疏性大小，并调整不断增长的假设数量，在性能上优于依赖严格稀疏性的方法。
• 对检验统计量最大值的理论界表明其以概率收敛于零，从而在弱矩条件下确保渐近有效性。