[论文解读] Adversarial Robustness under Long-Tailed Distribution

Tong Wu, Ziwei Liu+3 more|arXiv (Cornell University)|Apr 6, 2021

Adversarial Robustness in Machine Learning参考文献 47被引用 9

一句话总结

本文提出 RoBal，一种新颖的框架，通过结合尺度不变分类器与通过边界工程和边界调整实现的数据再平衡，在长尾数据分布下提升对抗鲁棒性。该方法在长尾 CIFAR-10 和 ImageNet-LT 基准上实现了最先进（SOTA）的鲁棒准确率，表明在真实世界场景中，平衡数据分布与降低边界误差对鲁棒性至关重要。

ABSTRACT

Adversarial robustness has attracted extensive studies recently by revealing the vulnerability and intrinsic characteristics of deep networks. However, existing works on adversarial robustness mainly focus on balanced datasets, while real-world data usually exhibits a long-tailed distribution. To push adversarial robustness towards more realistic scenarios, in this work we investigate the adversarial vulnerability as well as defense under long-tailed distributions. In particular, we first reveal the negative impacts induced by imbalanced data on both recognition performance and adversarial robustness, uncovering the intrinsic challenges of this problem. We then perform a systematic study on existing long-tailed recognition methods in conjunction with the adversarial training framework. Several valuable observations are obtained: 1) natural accuracy is relatively easy to improve, 2) fake gain of robust accuracy exists under unreliable evaluation, and 3) boundary error limits the promotion of robustness. Inspired by these observations, we propose a clean yet effective framework, RoBal, which consists of two dedicated modules, a scale-invariant classifier and data re-balancing via both margin engineering at training stage and boundary adjustment during inference. Extensive experiments demonstrate the superiority of our approach over other state-of-the-art defense methods. To our best knowledge, we are the first to tackle adversarial robustness under long-tailed distributions, which we believe would be a significant step towards real-world robustness. Our code is available at: https://github.com/wutong16/Adversarial_Long-Tail .

研究动机与目标

• 研究长尾数据分布对对抗训练下深度神经网络自然准确率与鲁棒准确率的影响，因真实世界数据通常呈现此类不平衡。
• 识别在对抗训练下长尾识别中的内在挑战，特别是尾部类别自然准确率下降被放大的问题。
• 系统评估现有长尾识别方法与对抗训练结合时的表现，以揭示鲁棒性评估中的局限性与虚假增益。
• 提出一个统一框架，通过同时解决数据不平衡与边界脆弱性，提升自然准确率与鲁棒准确率。

提出的方法

• 提出使用余弦相似度替代标准线性层的尺度不变分类器，降低对特征幅值的敏感性，提升鲁棒性。
• 在训练过程中引入类别感知与成对感知的边界，以重新平衡损失，促进尾部与头部类别之间的更好分离。
• 在推理阶段应用边界调整，动态修正靠近决策边界的预测，降低边界误差。
• 结合数据再平衡与边界工程，缓解预测先验，降低尾部类别对对抗攻击的脆弱性。
• 在受控 ε 设置下，使用 PGD 与 FGSM 攻击进行对抗训练，以评估在长尾数据集上的鲁棒性。
• 采用基于课程的评估策略，结合 Auto Attack（APGD-CE 与 APGD-DLR），确保鲁棒性评估的可靠性与高效性。

实验结果

研究问题

• RQ1 长尾数据分布如何影响对抗训练下深度神经网络的自然准确率与鲁棒准确率？
• RQ2 为何现有长尾识别方法无法在所有类别上一致提升鲁棒性，尤其是对尾部类别？
• RQ3 不可靠的评估在多大程度上导致长尾数据集上报告的鲁棒准确率出现虚假增益？
• RQ4 通过再平衡与分类器设计，能否有效降低边界误差以提升对抗鲁棒性？
• RQ5 是否可能通过统一框架同时提升长尾分布下的自然准确率与鲁棒准确率？

主要发现

• 对抗训练在长尾分布下显著放大了尾部类别自然准确率的下降，证实其与平衡设置相比存在更严重的准确率-鲁棒率权衡。
• 在 CIFAR-10-LT 上，RoBal 在 PGD-20 攻击下实现 78.4% 的自然准确率与 68.2% 的鲁棒准确率，鲁棒准确率较基线方法提升超过 5%。
• 在 ImageNet-LT 上，ε=2/255 时，RoBal 实现 30.02% 的干净准确率与 17.67% 的鲁棒准确率（PGD-20），鲁棒准确率较次佳方法高出 4.4%。
• 尾部类别的边界误差（R_bdy）显著更高，而 RoBal 通过边界工程与推理阶段的边界调整有效降低了该误差。
• 数据再平衡与尺度不变分类器的结合，使尾部类别的鲁棒准确率相比标准对抗训练提升了 12.5%。
• 实验表明，类别感知边界与推理阶段边界调整的组合比仅使用再平衡更有效，验证了两者的协同增效作用。