[论文解读] Efficient support recovery via weighted maximum-contrast subagging

Jelena Bradić|arXiv (Cornell University)|Jun 14, 2013

Sparse and Compressive Sensing Techniques参考文献 16被引用 1

一句话总结

本文提出了一种加权最大对比子聚合方法，用于在大规模、高维回归设置中实现高效的变量选择。通过将数据划分为非重叠的块，在每个块内对随机投影应用惩罚估计器，并通过最大对比投票方案聚合结果，该方法在实现计算加速的同时，保持了最小最大最优恢复性能，且无需依赖不可表示性条件。

ABSTRACT

We introduce a very general method for sparse and large-scale variable selection. The large-scale regression settings is such that both the number of parameters and the number of samples are extremely large. The proposed method is based on careful combination of penalized estimators, each applied to a random projection of the sample space into a low-dimensional space. In one special case that we study in detail, the random projections are divided into non-overlapping blocks; each consisting of only a small portion of the original data. Within each block we select the projection yielding the smallest out-of-sample error. Our random ensemble estimator then aggregates the results according to new maximal-contrast voting scheme to determine the final selected set. Our theoretical results illuminate the effect on performance of increasing the number of non-overlapping blocks. Moreover, we demonstrate that statistical optimality is retained along with the computational speedup. The proposed method achieves minimax rates for approximate recovery over all estimators using the full set of samples. Furthermore, our theoretical results allow the number of subsamples to grow with the subsample size and do not require irrepresentable condition. The estimator is also compared empirically with several other popular high-dimensional estimators via an extensive simulation study, which reveals its excellent finite-sample performance.

研究动机与目标

• 解决当样本量和参数数量均极大时的稀疏大规模变量选择挑战。
• 开发一种计算高效的算法，同时在高维设置中保持统计最优性。
• 消除对高维选择方法中常见假设——不可表示性条件的依赖。
• 仅使用完整数据集的子集，实现近似支持恢复的最小最大最优率。
• 通过集成聚合方法，提升与现有高维估计器相比的有限样本性能。

提出的方法

• 该方法将完整数据集划分为非重叠的块，每个块包含原始数据的一小部分。
• 在每个块内，对样本空间应用随机投影以降低维度，并对每个投影子样本拟合惩罚估计器。
• 基于最小的样本外误差，从每个块中选择表现最佳的投影。
• 通过一种新颖的最大对比投票方案，将各块的结果聚合为一个集成估计器，以选择最终的变量集合。
• 投票机制根据被选中与被排除变量之间的对比度分配权重，从而提升选择准确性。
• 理论分析表明，随着非重叠块数量的增加，性能得以提升，即使子样本大小也在增长。

实验结果

研究问题

• RQ1 基于子聚合的方法是否能在不依赖不可表示性条件的前提下，实现高维变量选择中的最小最大最优恢复？
• RQ2 增加非重叠块的数量如何影响集成估计器的统计性能？
• RQ3 所提出的方法在大规模设置中，在保持统计最优性的同时，能在多大程度上维持计算效率？
• RQ4 与标准聚合方法相比，最大对比投票方案在有限样本选择准确性方面有何改进？
• RQ5 随机投影与子采样对高维回归中支持恢复有何影响？

主要发现

• 所提出的方法在使用完整数据集的所有估计器中，实现了近似支持恢复的最小最大最优率。
• 即使子样本数量随子样本大小增长，统计最优性仍能保持，且无需依赖不可表示性条件。
• 在大量模拟实验中，该方法表现出优异的有限样本性能，优于多种流行的高维估计器。
• 随着非重叠块数量的增加，性能持续提升，表明其具有良好的可扩展性与鲁棒性。
• 最大对比投票方案通过强调被包含与被排除变量之间的强对比，有效提升了选择准确性。
• 该方法在保持理论最优性的同时，显著提升了大规模回归问题中的计算速度。