[论文解读] Robust estimation with Lasso when outputs are adversarially contaminated

Takeyuki Sasai, Hironori Fujisawa|arXiv (Cornell University)|Apr 13, 2020

Statistical Methods and Inference参考文献 20被引用 5

一句话总结

本文提出了一种在输出受到对抗性污染的高维线性回归场景下具有鲁棒性的Lasso估计器，利用带有L1惩罚项的Huber损失函数。通过利用Huber损失函数的特定结构特性——特别是其在阈值处从二次增长过渡到线性增长的特性——该研究建立了更快的收敛速率 $ O\left(\sqrt{\frac{s\log d}{n}} + \frac{o}{n}\sqrt{\log n\log\frac{n}{o}}\right) $，与Dalalyan和Thompson（2019）所获得的最佳已知速率一致，但采用了新颖的证明技术，优于以往依赖凸性和Lipschitz连续性论证的方法。

ABSTRACT

We consider robust estimation when outputs are adversarially contaminated. Nguyen and Tran (2012) proposed an extended Lasso for robust parameter estimation and then they showed the convergence rate of the estimation error. Recently, Dalalyan and Thompson (2019) gave some useful inequalities and then they showed a faster convergence rate than Nguyen and Tran (2012). They focused on the fact that the minimization problem of the extended Lasso can become that of the penalized Huber loss function with $L_1$ penalty. The distinguishing point is that the Huber loss function includes an extra tuning parameter, which is different from the conventional method. We give the proof, which is different from Dalalyan and Thompson (2019) and then we give the same convergence rate as Dalalyan and Thompson (2019). The significance of our proof is to use some specific properties of the Huber function. Such techniques have not been used in the past proofs.

研究动机与目标

• 开发一种在输出响应受到对抗性污染时的高维线性回归鲁棒估计方法。
• 通过利用Huber损失函数的结构特性，改进现有对抗性污染下Lasso估计的收敛速率。
• 提出一种新的收敛速率分析证明技术，区别于以往依赖一般凸性和Lipschitz连续性的方法。
• 在稀疏污染条件下，建立回归系数向量估计误差的更紧收敛速率。

提出的方法

• 该方法通过在回归系数和异常值指示变量上施加L1惩罚项，构建基于Huber损失函数的带惩罚优化问题。
• 引入一种双参数优化框架，联合估计真实回归系数 $\beta^*$ 和对抗性污染向量 $\theta^*$。
• 证明依赖于对Huber损失函数的创新性分析，特别是其在从二次增长过渡到线性增长的阈值处的行为特性。
• 利用Huber函数的特定次梯度和曲率性质推导关键不等式，而非依赖一般光滑性或凸性。
• 分析中引入了受限特征值条件，并对估计误差的 $\ell_1$-范数施加了界。
• 通过仔细评估 $\beta^*$ 和 $\theta^*$ 的稀疏性与调优参数 $\lambda_s$ 和 $\lambda_o$ 之间的相互作用，建立了收敛速率的上界。

实验结果

研究问题

• RQ1 能否通过利用Huber损失函数的特定性质，在对抗性输出污染下实现Lasso估计的更快收敛速率？
• RQ2 基于Huber函数结构的所提证明技术，与以往依赖一般凸性和Lipschitz连续性的证明方法相比有何差异？
• RQ3 在实现最快收敛速率的前提下，调优参数 $\lambda_s$ 和 $\lambda_o$ 的最优权衡是什么？
• RQ4 在何种条件下，估计误差 $\|\Sigma^{1/2}(\beta^* - \hat{\beta})\|_2$ 的收敛速率被最小化？
• RQ5 所提方法能否在采用不同且更精细的证明策略的同时，达到与Dalalyan和Thompson（2019）相同的收敛速率？

主要发现

• 本文建立了估计误差 $\|\Sigma^{1/2}(\beta^* - \hat{\beta})\|_2$ 的收敛速率为 $ O\left(\sqrt{\frac{s\log d}{n}} + \frac{o}{n}\sqrt{\log n\log\frac{n}{o}}\right) $，与Dalalyan和Thompson（2019）所获得的最佳已知速率一致。
• 该证明技术与以往工作有本质不同，因为它利用了Huber损失函数的特定结构特性，如在阈值处从二次增长过渡到线性增长的特性。
• 与Nguyen和Tran（2012）相比，该方法在异常值数量 $o$ 较大时表现出更优的收敛速率。
• 分析表明，当 $d \gg n$ 时，只要 $s$ 和 $o$ 是稀疏的，收敛速率在高维设置下依然稳健。
• 本文证明了条件 $a_1^2 > b_1 + \alpha^2$ 确保了误差界中一个关键系数的正下界，这对收敛性证明至关重要。
• 证明中的条件（7.2）在稀疏度水平 $s$ 和 $o$ 相对于 $n$ 足够小时可满足，从而确保收敛速率以高概率成立。