[论文解读] Adversarial Training with Rectified Rejection

Tianyu Pang, Huishuai Zhang+6 more|arXiv (Cornell University)|Sep 29, 2021

Adversarial Robustness in Machine Learning参考文献 111被引用 8

一句话总结

本文提出修正拒绝（Rectified Rejection, RR），一种通过置信度校正学习真实置信度（T-Con）来提升对抗鲁棒性的模块。通过将校正后的置信度（R-Con）与拒绝器结合，RR在自适应攻击下能有效区分被错误分类的对抗样本与正确分类的样本，实现更高的鲁棒准确率，且计算开销极低。

ABSTRACT

Adversarial training (AT) is one of the most effective strategies for promoting model robustness, whereas even the state-of-the-art adversarially trained models struggle to exceed 60% robust test accuracy on CIFAR-10 without additional data, which is far from practical. A natural way to break this accuracy bottleneck is to introduce a rejection option, where confidence is a commonly used certainty proxy. However, the vanilla confidence can overestimate the model certainty if the input is wrongly classified. To this end, we propose to use true confidence (T-Con) (i.e., predicted probability of the true class) as a certainty oracle, and learn to predict T-Con by rectifying confidence. We prove that under mild conditions, a rectified confidence (R-Con) rejector and a confidence rejector can be coupled to distinguish any wrongly classified input from correctly classified ones, even under adaptive attacks. We also quantify that training R-Con to be aligned with T-Con could be an easier task than learning robust classifiers. In our experiments, we evaluate our rectified rejection (RR) module on CIFAR-10, CIFAR-10-C, and CIFAR-100 under several attacks, and demonstrate that the RR module is well compatible with different AT frameworks on improving robustness, with little extra computation.

研究动机与目标

• 为解决对抗训练模型中持续存在的准确率瓶颈问题，即在不使用额外数据的情况下，通常在CIFAR-10上难以超过60%的鲁棒准确率。
• 克服原始置信度作为确定性代理的局限性，该代理可能在错误分类输入上高估模型的确定性。
• 提出一种方法，学习预测真实置信度（T-Con），作为拒绝决策中更可靠的确定性指标。
• 设计一种拒绝器，利用校正后的置信度在自适应攻击下区分错误分类样本与正确分类样本。

提出的方法

• 引入真实置信度（T-Con）作为理想的确定性代理，定义为模型对真实类别的预测概率。
• 提出置信度校正，以学习更准确的T-Con估计值，称为校正后置信度（R-Con）。
• 设计一种拒绝器，利用R-Con识别并拒绝可能被错误分类的输入，即使在自适应攻击下也有效。
• 证明在弱条件下，耦合的R-Con拒绝器与置信度拒绝器可区分任何错误分类的输入与正确分类的输入。
• 训练R-Con模块使其与T-Con对齐，实证表明该目标比训练完全鲁棒分类器更简单。
• 将RR模块集成到现有对抗训练框架中，计算成本可忽略不计。

实验结果

研究问题

• RQ1 修正后的置信度预测器能否提升对抗训练模型中拒绝决策的可靠性？
• RQ2 在自适应攻击下，能否利用R-Con区分对抗性错误分类输入与正确分类输入？
• RQ3 通过校正学习T-Con是否能带来比标准对抗训练更好的鲁棒性？
• RQ4 学习R-Con的难度与学习鲁棒分类器相比如何？
• RQ5 RR模块能否在不显著增加计算开销的前提下，与多种AT框架有效结合？

主要发现

• RR模块在多种对抗攻击下显著提升了CIFAR-10、CIFAR-10-C和CIFAR-100的鲁棒测试准确率。
• 得益于可靠的R-Con代理，该方法能有效拒绝自适应攻击下的对抗扰动输入。
• 实证表明，训练R-Con模块使其与T-Con对齐，比训练完全鲁棒分类器更简单。
• RR模块与多种对抗训练框架兼容，且额外计算开销极小。
• 在弱假设下，耦合的R-Con与置信度拒绝器系统可区分任何错误分类输入与正确分类输入。
• 实证结果证实，RR在不依赖额外数据或重大网络结构修改的情况下增强了鲁棒性。