[论文解读] A SMART Stochastic Algorithm for Nonconvex Optimization with Applications to Robust Machine Learning

Aleksandr Y. Aravkin, Damek Davis|arXiv (Cornell University)|Oct 4, 2016

Stochastic Gradient Optimization Techniques参考文献 8被引用 12

一句话总结

该论文提出SMART，一种新颖的随机近端梯度算法，用于非凸优化，可在拟合干净数据的鲁棒模型的同时，同时检测并去除异常值。其达到ε-精度所需的梯度计算量为O(n^{2/3}/ε)，比完整梯度方法快n^{1/3}倍，从而实现了在污染数据集上高效、可扩展的鲁棒机器学习。

ABSTRACT

In this paper, we show how to transform any optimization problem that arises from fitting a machine learning model into one that (1) detects and removes contaminated data from the training set while (2) simultaneously fitting the trimmed model on the uncontaminated data that remains. To solve the resulting nonconvex optimization problem, we introduce a fast stochastic proximal-gradient algorithm that incorporates prior knowledge through nonsmooth regularization. For datasets of size $n$, our approach requires $O(n^{2/3}/\varepsilon)$ gradient evaluations to reach $\varepsilon$-accuracy and, when a certain error bound holds, the complexity improves to $O(κn^{2/3}\log(1/\varepsilon))$. These rates are $n^{1/3}$ times better than those achieved by typical, full gradient methods.

研究动机与目标

• 通过在模型拟合过程中联合检测并去除异常值，解决在数据污染情况下的鲁棒机器学习挑战。
• 克服现有剪裁估计量的交替最小化方法和完整梯度方法的局限性，后者在非凸问题中速度慢或不适用。
• 开发一种可扩展的随机优化框架，整合非光滑正则化，并处理剪裁M-估计的非凸、非光滑特性。
• 为完全非凸问题实现可证明的收敛性，填补随机优化文献中的这一空白。
• 使剪裁估计量在大规模场景（如鲁棒PCA和单应性估计）中得以实际应用，传统方法因计算成本过高而失效。

提出的方法

• 将剪裁M-估计问题表述为一个非凸、非光滑的优化问题，目标是最小化n个数据点中最小h个损失值的总和。
• 提出一种随机近端梯度算法（SMART），通过随机采样梯度和近端步长来处理非光滑正则化。
• 通过非光滑正则化项（如ℓ1范数或核范数）引入先验知识，以促进稀疏性和鲁棒性。
• 采用平滑技术处理目标函数中的不可微顺序统计量，从而支持基于梯度的优化。
• 采用动态采样策略，根据损失值选择数据点，聚焦于高影响、可能受异常值影响的样本。
• 在较弱假设下证明算法收敛至驻点，首次为完全非凸、非光滑问题提供了可证明收敛的随机算法。

实验结果

研究问题

• RQ1 能否设计一种随机算法，用于求解具有可证明收敛性的非凸、非光滑剪裁M-估计问题？
• RQ2 SMART在达到ε-精度时，其梯度计算量与完整梯度方法相比如何，特别是在梯度评估次数上的比较？
• RQ3 在高维、污染数据集中，SMART在拟合鲁棒模型的同时，能在多大程度上检测并去除异常值？
• RQ4 在大规模机器学习应用中，SMART是否比现有完整梯度方法或交替最小化方法具有更好的可扩展性？
• RQ5 SMART能否在实际鲁棒估计任务（如存在虚假对应关系的鲁棒PCA和单应性估计）中有效应用？

主要发现

• SMART在达到ε-精度时，梯度计算复杂度为O(n^{2/3}/ε)，比典型完整梯度方法快n^{1/3}倍。
• 在某种误差界下，复杂度可提升至O(κn^{2/3}log(1/ε))，其中κ为条件数，进一步加快收敛速度。
• 在A和B数据集上的鲁棒PCA中，SMART成功检测并去除了异常值，部分异常值的存在或消失取决于数据结构和评分模式。
• 在单应性估计中，SMART从627组初始匹配中有效识别并保留了最佳10%的点对应关系，生成的拼接图与RANSAC效果相当，但可扩展性更优。
• 与贪婪交替最小化方法相比，SMART通过避免陷入局部极小值并降低每轮迭代的计算成本，尤其在大规模数据集上表现更优。
• SMART在合成数据和真实世界应用中均展现出可靠的异常值检测能力和鲁棒模型拟合性能，包括高维和组合复杂度较高的问题。