[论文解读] Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems

Bhaskar Mukhoty, Govind Gopakumar+2 more|arXiv (Cornell University)|Jun 25, 2020

Sparse and Compressive Sensing Techniques被引用 11

一句话总结

本文提出了首个针对鲁棒回归的全局收敛IRLS算法，通过加权强凸性和光滑性确保从任意初始化出发均能收敛。它引入了STIR（稀疏截断迭代重加权）——一种快速的基于梯度的变体，其在速度和对超参数误设的鲁棒性方面优于当前最先进方法，即使在子高斯协变量下存在对抗性标签污染时亦然。

ABSTRACT

We provide the first global model recovery results for the IRLS (iteratively reweighted least squares) heuristic for robust regression problems. IRLS is known to offer excellent performance, despite bad initializations and data corruption, for several parameter estimation problems. Existing analyses of IRLS frequently require careful initialization, thus offering only local convergence guarantees. We remedy this by proposing augmentations to the basic IRLS routine that not only offer guaranteed global recovery, but in practice also outperform state-of-the-art algorithms for robust regression. Our routines are more immune to hyperparameter misspecification in basic regression tasks, as well as applied tasks such as linear-armed bandit problems. Our theoretical analyses rely on a novel extension of the notions of strong convexity and smoothness to weighted strong convexity and smoothness, and establishing that sub-Gaussian designs offer bounded weighted condition numbers. These notions may be useful in analyzing other algorithms as well.

研究动机与目标

• 为解决现有IRLS分析在鲁棒回归中缺乏全局收敛保证的问题，这些分析通常需要精心的初始化。
• 开发一种算法，确保即使在对抗性标签污染下，也能从任意起点可靠地恢复模型。
• 提升在标准回归和线性武装Bandit等应用设置中对超参数误设的鲁棒性。
• 通过新颖概念建立理论基础：加权强凸性和光滑性，以及在子高斯设计下的有界加权条件数。

提出的方法

• 提出STIR（稀疏截断迭代重加权），一种快速的基于梯度的IRLS变体，可提升收敛性和鲁棒性。
• 引入加权强凸性和光滑性的概念，以分析数据污染下的收敛性。
• 利用子高斯协变量建立有界的加权条件数，从而实现全局收敛保证。
• 在线性Bandit应用中，通过STIR的自适应权重构建加权协方差矩阵，形成置信集。
• 在WUCB-Lin算法中应用STIR，实现对鲁棒线性武装Bandit的处理，利用加权最小二乘法在奖励被污染的情况下估计真实模型。
• 根据残差大小截断并重新加权历史观测，对可能被污染的数据点赋予较低权重。

实验结果

研究问题

• RQ1 IRLS能否在鲁棒回归中保证全局收敛，即使从较差的初始化出发？
• RQ2 如何修改IRLS启发式方法，以确保对对抗性标签污染的鲁棒性？
• RQ3 在存在数据污染的情况下，建立IRLS全局收敛性的理论基础需要哪些新颖概念？
• RQ4 STIR能否在速度和对超参数误差的鲁棒性方面优于现有鲁棒回归算法？
• RQ5 加权强凸性和光滑性是否能实现子高斯设计下更紧密的收敛性分析？

主要发现

• 所提出的STIR算法在子高斯协变量下，即使存在对抗性标签污染，也能实现鲁棒回归的全局收敛。
• STIR在标准回归任务中，于速度和对超参数误设的鲁棒性方面均优于当前最先进算法。
• 在应用设置如线性武装Bandit中，该算法保持了优异性能，即使在奖励被污染的情况下也能实现较低的累积伪遗憾。
• 理论分析表明，子高斯设计可产生有界的加权条件数，从而支持全局收敛保证。
• 引入加权强凸性和光滑性为分析迭代重加权最小二乘法提供了新框架，超越了标准凸性范畴。
• 实验结果表明，STIR在初始化和超参数选择方面比现有方法（包括SOCP和硬阈值法）更具鲁棒性。