[论文解读] Feature Selection for Linear SVM with Provable Guarantees

Saurabh Paul, Malik Magdon‐Ismail+1 more|arXiv (Cornell University)|Jun 1, 2014

Face and Expression Recognition被引用 13

一句话总结

本文提出了两种针对线性SVM的可证明准确的特征选择方法——确定性和随机化方法，利用谱稀疏化和杠杆得分采样。通过选择 $ O(\text{支持向量数量}/\epsilon^2) $ 个特征，保证了边际在 $ \epsilon $ 相对误差范围内，同时对边际和半径提供了理论边界，解决了SVM无监督特征选择中的一个开放问题。

ABSTRACT

We give two provably accurate feature-selection techniques for the linear SVM. The algorithms run in deterministic and randomized time respectively. Our algorithms can be used in an unsupervised or supervised setting. The supervised approach is based on sampling features from support vectors. We prove that the margin in the feature space is preserved to within $ε$-relative error of the margin in the full feature space in the worst-case. In the unsupervised setting, we also provide worst-case guarantees of the radius of the minimum enclosing ball, thereby ensuring comparable generalization as in the full feature space and resolving an open problem posed in Dasgupta et al. We present extensive experiments on real-world datasets to support our theory and to demonstrate that our method is competitive and often better than prior state-of-the-art, for which there are no known provable guarantees.

研究动机与目标

• 解决现有线性SVM特征选择方法缺乏理论保证的问题。
• 在监督和无监督设置下，为边际保持提供可证明的最坏情况性能保证。
• 通过同时保持最小包围球的边际和半径，解决无监督特征选择中的一个开放问题。
• 仅使用支持向量实现高效特征选择，将特征数量减少至 $ O(\text{支持向量数量}/\epsilon^2) $，同时保持边际准确性。
• 将无监督特征选择技术扩展到监督学习设置，提供理论依据和实证验证。

提出的方法

• 使用单集谱稀疏化作为确定性算法，选择特征以在 $ \epsilon $ 相对误差范围内保持边际。
• 应用杠杆得分采样作为随机化算法，实现 $ \tilde{O}(\text{支持向量数量}/\epsilon^2) $ 的特征选择，同时获得类似的边际保证。
• 通过将方法应用于支持向量集而非全数据集，将无监督特征选择扩展到监督学习。
• 利用支持向量是线性SVM学习的充分统计量这一事实，当在支持向量上保持边际时，可确保在全数据集上保持边际。
• 引入一种基于随机投影的近似BSS（分块正交迭代）启发式方法，以扩展到大规模数据集，近似支持向量矩阵的右奇异向量。
• 使用随机高斯矩阵 $ \mathbf{G} \in \mathbb{R}^{t \times p} $ 预乘支持向量矩阵 $ \mathbf{X} $，从而通过在投影矩阵上进行SVD，实现高效的特征选择计算。

实验结果

研究问题

• RQ1 我们能否设计一种线性SVM的特征选择方法，保证在边际保持方面具有 $ \epsilon $ 相对误差，并具备可证明的最坏情况边界？
• RQ2 无监督特征选择技术能否扩展到监督学习设置，同时保持理论保证？
• RQ3 在无监督设置下，能否以可证明的保证同时保持边际和最小包围球的半径？
• RQ4 我们能否将所选特征数量减少至 $ O(\text{支持向量数量}/\epsilon^2) $，同时仍保持在支持向量上的边际？
• RQ5 在实践中，所提出方法与无可证明保证的最先进方法相比表现如何？

主要发现

• 确定性算法选择 $ O(\text{支持向量数量}/\epsilon^2) $ 个特征，并保证 $ \tilde{\gamma}^{*2} \geq (1 - \epsilon)\gamma^{*2} $，在 $ \epsilon $ 相对误差范围内保持边际。
• 随机化算法需要 $ \tilde{O}(\text{支持向量数量}/\epsilon^2) $ 个特征，实现相同的 $ \epsilon $ 相对边际保证。
• 在无监督设置下，确定性算法选择 $ O(\rho/\epsilon^2) $ 个特征，其中 $ \rho $ 是数据的秩，且在 $ \epsilon $ 相对误差范围内同时保持边际和半径。
• 最小包围球的半径被保持为 $ \tilde{B}^2 \leq (1 + \epsilon)B^2 $，确保 $ B^2/\gamma^{*2} $ 在 $ \epsilon $ 相对误差范围内被保持。
• 实证结果表明，BSS和杠杆得分采样在性能上与RFE、RRQR和LPSVM等先前最先进方法相当或更优，尤其在监督设置中表现更佳。
• 当投影数 $ t = 128 $ 和 $ t = 256 $ 时，近似BSS启发式方法的泛化误差接近RRQR，与RFE和LPSVM相当，且随着 $ t $ 增大，性能进一步提升。