[论文解读] Adversarially Robust Estimate and Risk Analysis in Linear Regression

Yue Xing, Ruizhi Zhang+1 more|arXiv (Cornell University)|Dec 18, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用 4

一句话总结

本文提出了一种用于线性回归的两阶段对抗鲁棒学习框架，将模型结构信息（如稀疏性）整合到对抗估计中。通过推导极小极大收敛速率并建立巴哈杜尔表示，该方法实现了最优估计效率，并证实了理论上的权衡：对抗鲁棒性降低了泛化性能，而无标签数据则改善了泛化性能。

ABSTRACT

Adversarially robust learning aims to design algorithms that are robust to small adversarial perturbations on input variables. Beyond the existing studies on the predictive performance to adversarial samples, our goal is to understand statistical properties of adversarially robust estimates and analyze adversarial risk in the setup of linear regression models. By discovering the statistical minimax rate of convergence of adversarially robust estimators, we emphasize the importance of incorporating model information, e.g., sparsity, in adversarially robust learning. Further, we reveal an explicit connection of adversarial and standard estimates, and propose a straightforward two-stage adversarial learning framework, which facilitates to utilize model structure information to improve adversarial robustness. In theory, the consistency of the adversarially robust estimator is proven and its Bahadur representation is also developed for the statistical inference purpose. The proposed estimator converges in a sharp rate under either low-dimensional or sparse scenario. Moreover, our theory confirms two phenomena in adversarially robust learning: adversarial robustness hurts generalization, and unlabeled data help improve the generalization. In the end, we conduct numerical simulations to verify our theory.

研究动机与目标

• 理解对抗鲁棒估计器在线性回归中的统计特性，超越预测性能。
• 研究将模型结构（尤其是稀疏性）整合是否能提升对抗鲁棒性和估计效率。
• 正式分析标准泛化与对抗泛化性能之间的权衡。
• 开发一种将结构信息嵌入对抗鲁棒估计的两阶段框架。
• 通过巴哈杜尔表示建立所提估计器的渐近正态性和一致性，以支持统计推断。

提出的方法

• 提出一种两阶段对抗学习框架：首先使用结构感知方法（如Lasso）估计标准模型，然后在对抗扰动下精炼估计结果。
• 推导对抗估计误差的极小极大下界，揭示了稀疏性等模型结构可能带来的收益。
• 为对抗鲁棒估计器建立巴哈杜尔表示，从而在正则性条件下实现渐近正弹性与统计推断。
• 分析估计误差的上界，表明在低维和稀疏设置下收敛至极小极大最优速率。
• 使用谱范数和Frobenius内积在极小极大优化框架中形式化对抗风险与扰动约束。
• 通过数值模拟验证理论结果，包括在不同噪声水平和扰动幅度下的性能比较。

实验结果

研究问题

• RQ1 对抗鲁棒估计器在线性回归中的统计极小极大收敛速率是什么？
• RQ2 整合模型结构（如稀疏性）如何影响估计效率和对抗鲁棒性？
• RQ3 两阶段框架能否有效将结构信息从标准估计传递到对抗鲁棒估计？
• RQ4 对抗鲁棒性是否固有地损害标准泛化性能？
• RQ5 无标签数据在多大程度上能提升线性模型中的对抗泛化性能？

主要发现

• 即使在无噪声情况下，对抗估计误差的极小极大下界仍严格为正，表明在稀疏模型中对抗鲁棒估计器无法完全恢复真实参数。
• 所提出的两阶段估计器在低维和稀疏设置下均达到极小极大最优收敛速率。
• 对抗鲁棒性降低了标准泛化性能，证实了鲁棒性与标准准确率之间的权衡。
• 无标签数据能改善对抗泛化性能，理论分析与模拟结果均支持此结论。
• 估计器的巴哈杜尔表示意味着渐近正态性，从而在弱正则性条件下支持有效的统计推断。
• 数值结果表明，所提估计器的经验对抗风险在稀疏性条件下紧密跟踪理论极小极大下界。