[论文解读] Feedback-Controlled Sequential Lasso Screening

Yun Wang, Xu Chen+1 more|arXiv (Cornell University)|Aug 21, 2016

Statistical Methods and Inference参考文献 30被引用 4

一句话总结

该论文提出了一种反馈控制的序列筛选方法 DASS，用于在交叉验证后固定正则化参数的情况下求解大规模 Lasso 问题。通过基于先前解自适应选择正则化参数序列，DASS 在保持对解噪声和内存限制鲁棒性的同时，实现了更高的特征剔除率和加速比（最高达 5 倍），在大规模字典上优于开环序列筛选方法。

ABSTRACT

One way to solve lasso problems when the dictionary does not fit into available memory is to first screen the dictionary to remove unneeded features. Prior research has shown that sequential screening methods offer the greatest promise in this endeavor. Most existing work on sequential screening targets the context of tuning parameter selection, where one screens and solves a sequence of $N$ lasso problems with a fixed grid of geometrically spaced regularization parameters. In contrast, we focus on the scenario where a target regularization parameter has already been chosen via cross-validated model selection, and we then need to solve many lasso instances using this fixed value. In this context, we propose and explore a feedback controlled sequential screening scheme. Feedback is used at each iteration to select the next problem to be solved. This allows the sequence of problems to be adapted to the instance presented and the number of intermediate problems to be automatically selected. We demonstrate our feedback scheme using several datasets including a dictionary of approximate size 100,000 by 300,000.

研究动机与目标

• 为了解决字典过大而无法装入内存时求解 Lasso 问题的挑战，尤其是在交叉验证已固定正则化参数之后。
• 改进现有依赖于固定、预设的正则化参数序列的序列筛选方法。
• 开发一种反馈机制，根据每个具体实例自适应调整 Lasso 问题的参数序列，以优化特征剔除和计算效率。
• 确保在大规模设置下对中间 Lasso 问题解的噪声或近似解具有鲁棒性，这一点至关重要。

提出的方法

• DASS 使用反馈机制，基于前一步的对偶解 $\hat{\mathbf{\theta}}_{k-1}$ 动态选择序列中的下一个正则化参数 $\lambda_k$。
• 它利用对偶解上的区域边界 $\mathcal{R}_k^0$ 计算筛选阈值 $\mu(\mathbf{d}_i)$，从而安全地剔除在最终解中权重为零的特征。
• 反馈规则定义为 $\lambda_k = \left( \frac{1}{2R} + \lambda_{k-1}^{-1} \right)^{-1}$，其中 $R$ 控制对偶区域的直径，从而决定筛选的激进程度。
• 该方法迭代应用，每一步减少字典大小，同时保持精确性并避免误剔除。
• 它将先前工作的 DPP 边界扩展到反馈控制框架中，允许更紧的边界和更强的筛选性能。
• 算法在大规模数据集（例如 100k × 300k 字典）上进行评估，采用内存高效的逐段流式加载字典片段。

实验结果

研究问题

• RQ1 反馈控制能否在交叉验证后固定正则化参数的背景下提升序列 Lasso 筛选方法的性能？
• RQ2 与固定网格方法相比，自适应选择 $\lambda_k$ 序列在特征剔除率和计算加速方面有何影响？
• RQ3 在大规模设置下，DASS 对中间 Lasso 问题解的噪声或近似解的鲁棒性如何？
• RQ4 当字典超出可用内存时，DASS 是否能通过增量加载保持高性能和内存效率？
• RQ5 与开环序列筛选方法（如序列 Dome、Strong rule 和 Enhanced DPP）相比，DASS 在加速比、完成率和运行时间方面表现如何？

主要发现

• 在 MNIST 数据集上，DASS 平均实现了最高 5 倍的加速比，即使在信噪比高达 $10^{-3}$ 的噪声条件下，剔除率仍保持在 90% 以上。
• 在包含 100k × 300k 字典的 NYT 数据集上，DASS 成功完成了全部 65 个问题实例，平均迭代次数 $N = 45$，而序列 Dome 和 Enhanced DPP 因内存溢出而失败。
• 尽管与序列 Strong rule 的剔除性能相似，DASS 在运行时间上表现更优，且在完成率和内存效率方面比开环方法更具鲁棒性。
• 该方法在 $\lambda_t / \lambda_{\max} = 0.1$ 的条件下依然有效，这一区域下一次性筛选方法会失效，表明其在低信噪比环境下的实用性。
• 反馈机制使 DASS 能够根据问题实例自适应调整 $\lambda_k$ 序列，从而在多种数据集上均优于固定序列方法。
• 实验结果表明，反馈规则中 $R$ 的调优可在筛选强度与迭代次数之间实现平衡，最优权衡在 $R=0.3$ 处观察到。