[论文解读] Simultaneous Safe Screening of Features and Samples in Doubly Sparse Modeling

Atsushi Shibagaki, Masayuki Karasuyama+2 more|arXiv (Cornell University)|Feb 8, 2016

Probabilistic and Robust Engineering Design参考文献 23被引用 16

一句话总结

本文提出了一种新颖的联合安全筛选方法，用于在双重稀疏模型中识别非活跃特征和样本，该方法利用原始空间和对偶空间中的迭代对偶间隙边界。通过利用特征和样本筛选之间的协同效应，该方法在不牺牲最优性的情况下显著加速大规模稀疏学习，已在高维数据集上通过大量实验得到验证。

ABSTRACT

The problem of learning a sparse model is conceptually interpreted as the process of identifying active features/samples and then optimizing the model over them. Recently introduced safe screening allows us to identify a part of non-active features/samples. So far, safe screening has been individually studied either for feature screening or for sample screening. In this paper, we introduce a new approach for safely screening features and samples simultaneously by alternatively iterating feature and sample screening steps. A significant advantage of considering them simultaneously rather than individually is that they have a synergy effect in the sense that the results of the previous safe feature screening can be exploited for improving the next safe sample screening performances, and vice-versa. We first theoretically investigate the synergy effect, and then illustrate the practical advantage through intensive numerical experiments for problems with large numbers of features and samples.

研究动机与目标

• 解决大规模稀疏学习中的计算瓶颈问题，其中特征和样本数量均很大。
• 开发一个统一框架，通过安全筛选同时识别非活跃特征和样本，确保无误删。
• 利用特征筛选与样本筛选之间的协同效应，提升筛选性能，超越单独使用任一方法的效果。
• 为双重稀疏建模中的高效优化提供理论保证和实用算法。

提出的方法

• 该方法在对偶空间中交替执行安全特征筛选和在原始空间中执行安全样本筛选，基于对偶间隙边界。
• 通过一对原始-对偶可行解构造对偶变量和原始变量的下界与上界，以估计最优解区域。
• 利用KKT最优性条件推导出特征或样本被保证为非活跃的条件。
• 对于特征筛选，检查对偶解边界是否意味着 $ w_j^* = 0 $；对于样本筛选，检查 $ \alpha_i^* \notin \{0, \pm1\} $。
• 通过在原始和对偶筛选步骤之间迭代进行，逐步改进筛选区域，扩大安全移除的范围。
• 适用于在强凸性假设下具有平滑合页损失的SVM以及具有 $ \varepsilon $-不敏感损失的回归模型。

实验结果

研究问题

• RQ1 能否有效结合特征和样本的安全筛选，以提升双重稀疏模型中的筛选性能？
• RQ2 特征筛选与样本筛选之间的相互作用是否会产生协同效应，从而提升可安全移除的特征和样本数量？
• RQ3 如何利用基于对偶间隙的边界，在原始空间和对偶空间中同时构建安全筛选区域？
• RQ4 在稀疏学习背景下，特征筛选与样本筛选之间协同效应的理论依据是什么？
• RQ5 与单独使用特征筛选或样本筛选相比，所提出方法在筛选速度和模型精度方面实际表现如何？

主要发现

• 所提出方法通过在优化前安全地移除大量特征和样本，显著加快了大规模稀疏模型的训练速度。
• 特征筛选与样本筛选之间的协同效应带来累积性改进：每一步筛选均增强下一步，从而实现对无关组件更激进的移除。
• 理论分析证实，对偶空间中的安全筛选（用于特征）和原始空间中的安全筛选（用于样本）可迭代结合而不损失最优性。
• 数值实验表明，与单独筛选方法相比，联合筛选方法在高维数据集上的筛选比率和运行时间减少方面表现更优。
• 该方法保证无误删——非活跃特征和样本永远不会被错误移除，从而保持了解的最优性。
• 该方法在不同损失函数下均有效，包括平滑合页损失和 $ \varepsilon $-不敏感损失，前提是满足适当的强凸性条件。