[论文解读] 10,000+ Times Accelerated Robust Subset Selection (ARSS)

Feiyun Zhu, Bin Fan+4 more|arXiv (Cornell University)|Sep 12, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用 25

一句话总结

本文提出 ARSS，一种新型加速鲁棒子集选择方法，通过使用 $ε_p$-范数（$0 < p \leq 1$）增强对异常样本和异常特征的鲁棒性，同时利用 ALM 和等价推导，将计算复杂度从 $O(N^4)$ 降低至 $O(N^2L)$，实现理论上的加速。该方法在十大数据集上的实验表明，其速度比最相关最先进的方法快 10,000 倍以上，且在准确率上表现更优或具有竞争力。

ABSTRACT

Subset selection from massive data with noised information is increasingly popular for various applications. This problem is still highly challenging as current methods are generally slow in speed and sensitive to outliers. To address the above two issues, we propose an accelerated robust subset selection (ARSS) method. Specifically in the subset selection area, this is the first attempt to employ the $\ell_{p}(0

研究动机与目标

• 为解决从大规模数据集中进行鲁棒子集选择时面临的高计算成本和对异常值敏感的双重挑战。
• 通过用更具鲁棒性的 $ε_p$-范数（$0 < p \leq 1$）替代标准最小二乘或 $ε_{2,1}$-范数损失，提升表示损失的鲁棒性。
• 通过利用 $N \gg L$ 的数据结构并结合 ALM 和等价推导，将计算复杂度从 $O(N^4)$ 显著降低至 $O(N^2L)$。
• 实现在大规模数据集（包括完整数据集处理）上的可扩展子集选择，而此前的方法在这些场景下不可行。
• 为现有方法提供一种快速、准确且鲁棒的替代方案，尤其适用于包含噪声样本和特征的真实世界数据。

提出的方法

• 该方法采用 $ε_p$-范数（$0 < p \leq 1$）作为表示损失，通过使目标函数对极端值不敏感，从而抑制异常值带来的大误差影响。
• 将子集选择建模为自表示问题，即每个数据点由所选原型的线性组合表示。
• 应用增广拉格朗日乘子（ALM）框架，高效求解非凸、非光滑的优化问题。
• 通过等价推导，将原始高复杂度子问题转化为更易处理的形式，将计算成本从 $O(N^4)$ 降低至 $O(N^2L)$。
• 该算法基于 $N \gg L$ 的假设设计，当样本数量远大于特征维度时，可实现显著加速。
• 还推导出 Nie 原方法的加速求解器，将其复杂度从 $O(N^4)$ 降低至 $O(N^2L + NL^3)$，实测实现超过 500 倍的加速。

实验结果

研究问题

• RQ1 $ε_p$-范数（$0 < p \leq 1$）能否有效用于子集选择中，通过降低异常样本和异常特征的影响来提升鲁棒性？
• RQ2 是否可能在不牺牲选择质量的前提下，显著提升鲁棒子集选择的计算速度，特别是在大规模数据集上？
• RQ3 在 $N \gg L$ 条件下，能否通过 ALM 和等价推导将现有鲁棒子集选择方法的计算复杂度从 $O(N^4)$ 降低至 $O(N^2L)$？
• RQ4 在真实世界基准数据集上，所提出的 ARSS 方法与 RRSS 和 TED 等最先进方法相比，在准确率和速度方面表现如何？
• RQ5 Nie 方法的加速求解器是否能在保持解质量的前提下，实现理论复杂度降低与实际速度提升？

主要发现

• ARSS 在基准数据集上的平均运行时间比 RRSS$_{\text{Nie}}$ 快 23,275 倍，其中某一例将原本需 100 年的任务缩短至仅 1.6 天。
• 该方法平均比最相关的方法（RRSS$_{\text{Nie}}$）快 10,000 倍以上，最快提速超过 23,000 倍。
• ARSS 在使用 KNN 和线性 SVM 分类器的十个基准数据集上，均实现了最先进或极具竞争力的预测准确率。
• 使用 $ε_p$-范数损失显著提升了鲁棒性，表现为在不同数据质量的数据集中均保持一致的高性能表现。
• Nie 方法的加速求解器将理论复杂度从 $O(N^4)$ 降低至 $O(N^2L + NL^3)$，实测实现超过 500 倍的加速。
• ARSS 可在合理时间内处理完整数据集（最大 $N^*=13,000$），证明其在候选集限制之外仍具备可扩展性。