[论文解读] Adversarial Attack on Attackers: Post-Process to Mitigate Black-Box Score-Based Query Attacks

Sizhe Chen, Zhehao Huang+4 more|arXiv (Cornell University)|May 24, 2022

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出AAA，一种后处理防御方法，通过对抗性地操纵模型logits，使基于分数的查询攻击（SQAs）产生误导，从而扰乱攻击者对攻击方向的错误判断。通过设计欺骗SQAs贪婪优化过程的损失曲线——如振荡或急剧下降的损失——AAA在CIFAR-10上对Square攻击（2500次查询）实现了81.36%的鲁棒准确率，优于对抗训练（67.44%），同时在保持干净准确率和改善校准性方面表现优异，且推理开销极低。

ABSTRACT

The score-based query attacks (SQAs) pose practical threats to deep neural networks by crafting adversarial perturbations within dozens of queries, only using the model's output scores. Nonetheless, we note that if the loss trend of the outputs is slightly perturbed, SQAs could be easily misled and thereby become much less effective. Following this idea, we propose a novel defense, namely Adversarial Attack on Attackers (AAA), to confound SQAs towards incorrect attack directions by slightly modifying the output logits. In this way, (1) SQAs are prevented regardless of the model's worst-case robustness; (2) the original model predictions are hardly changed, i.e., no degradation on clean accuracy; (3) the calibration of confidence scores can be improved simultaneously. Extensive experiments are provided to verify the above advantages. For example, by setting $\ell_\infty=8/255$ on CIFAR-10, our proposed AAA helps WideResNet-28 secure 80.59% accuracy under Square attack (2500 queries), while the best prior defense (i.e., adversarial training) only attains 67.44%. Since AAA attacks SQA's general greedy strategy, such advantages of AAA over 8 defenses can be consistently observed on 8 CIFAR-10/ImageNet models under 6 SQAs, using different attack targets, bounds, norms, losses, and strategies. Moreover, AAA calibrates better without hurting the accuracy. Our code is available at https://github.com/Sizhe-Chen/AAA.

研究动机与目标

• 为应对日益增长的实际、查询高效基于分数的查询攻击（SQAs）所带来的威胁，此类攻击仅利用模型输出分数进行攻击。
• 开发一种不降低干净准确率、无需模型微调的防御方法，且可作为即插即用的预训练模型防御模块。
• 通过操纵输出分数中观察到的损失趋势，同时提升模型校准性并误导攻击者。
• 提供一种用户友好的、测试时防御机制，对非自适应和自适应SQAs均有效，且不依赖输入预处理或动态推理。

提出的方法

• 通过优化后处理模型logits，以塑造损失曲线，使依赖于观察损失下降的SQAs被误导至错误的攻击方向。
• 利用正弦或分段线性函数设计目标损失曲线，制造欺骗性损失趋势——如急剧下降或振荡——围绕真实对抗方向。
• 优化logits以逼近由正弦函数或分段线性函数定义的目标损失曲线，确保对干净预测影响最小。
• 在logits上采用可微分的优化过程，仅需少量迭代（如60–80次），在防御效果与推理成本之间取得平衡。
• 将模型校准整合至后处理步骤，降低期望校准误差（ECE），同时不牺牲干净准确率。
• 以即插即用方式在测试时应用该防御，无需修改模型架构或训练流程。

实验结果

研究问题

• RQ1 通过操纵模型输出中观察到的损失趋势，后处理防御能否有效误导基于分数的查询攻击？
• RQ2 此类防御能否在不重新训练的前提下，同时改善模型校准性并保持干净准确率？
• RQ3 该防御对非自适应和自适应SQAs（包括双向和反向搜索策略）的有效性如何？
• RQ4 该防御在不同模型、数据集、攻击类型及超参数（如范数、损失函数）下是否具备泛化能力？
• RQ5 该防御能否在真实应用中实现高效部署，且运行时开销极低？

主要发现

• 在CIFAR-10上，ℓ∞ = 8/255条件下，AAA在Square攻击（2500次查询）下实现81.36%的鲁棒准确率，显著优于对抗训练（67.44%）。
• 该防御维持或改善了校准性，将期望校准误差（ECE）从基线的3.52%降低至2.53%（使用80次优化迭代）。
• 即使在自适应攻击如bi-Square和op-Square下，AAA-sine仍分别保持76.69%和76.41%的鲁棒准确率，表明其对策略逆向工程具有强鲁棒性。
• 该防御在8个模型（CIFAR-10/ImageNet）、6种SQAs及多种攻击设置下均表现有效，展现出强大的泛化能力。
• 对logits进行60–80次迭代优化，即可实现接近最优的鲁棒性（81.37%准确率），且每样本推理时间仅增加0.15ms。
• AAA-sine（采用正弦损失曲线）成功误导了非自适应与自适应攻击者，通过消除损失变化中的明显方向线索实现防御。