[论文解读] Meta-Learning the Search Distribution of Black-Box Random Search Based Adversarial Attacks

Maksym Yatsura, Jan Hendrik Metzen+1 more|arXiv (Cornell University)|Nov 2, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出元平方攻击（Meta Square Attack, MSA），一种元学习框架，可自动优化黑盒随机搜索对抗攻击中的搜索分布参数，如更新大小和颜色采样。通过在白盒模型上训练基于梯度的控制器，MSA 在多种模型、数据集（CIFAR10、CIFAR100、ImageNet）和攻击设置（包括定向攻击）下，将查询效率和鲁棒性估计提升最高达20%。

ABSTRACT

Adversarial attacks based on randomized search schemes have obtained state-of-the-art results in black-box robustness evaluation recently. However, as we demonstrate in this work, their efficiency in different query budget regimes depends on manual design and heuristic tuning of the underlying proposal distributions. We study how this issue can be addressed by adapting the proposal distribution online based on the information obtained during the attack. We consider Square Attack, which is a state-of-the-art score-based black-box attack, and demonstrate how its performance can be improved by a learned controller that adjusts the parameters of the proposal distribution online during the attack. We train the controller using gradient-based end-to-end training on a CIFAR10 model with white box access. We demonstrate that plugging the learned controller into the attack consistently improves its black-box robustness estimate in different query regimes by up to 20% for a wide range of different models with black-box access. We further show that the learned adaptation principle transfers well to the other data distributions such as CIFAR100 or ImageNet and to the targeted attack setting.

研究动机与目标

• 解决黑盒随机搜索对抗攻击中提案分布的手动调优与启发式设计挑战。
• 通过学习自适应搜索策略，提升黑盒环境下的查询效率和鲁棒性估计。
• 实现所学控制器在不同模型、数据集（如CIFAR100、ImageNet）和攻击类型（包括定向攻击）之间的可迁移性。
• 开发一种方法，使其在元训练后无需梯度访问即可在完全黑盒环境中保持有效性。
• 证明所学控制器在多种查询预算和威胁模型（ℓ∞、ℓ2）下优于人工设计的调度策略。

提出的方法

• 将搜索分布参数（如更新大小、颜色采样）的优化问题建模为元学习问题，以自适应提升攻击性能。
• 在白盒CIFAR10模型上，使用基于梯度的端到端优化方法训练控制器，该模型采用对抗性训练的ResNet18。
• 使用所学控制器在攻击过程中动态调整提案分布，替代先前工作中使用的固定调度。
• 将元训练阶段（具有白盒访问权限）与推理阶段（完全黑盒）解耦，确保无梯度混淆问题。
• 将元训练后的控制器应用于RobustBench工具箱中的各类模型，作为无需微调的黑盒攻击者。
• 引入两个控制器：一个用于更新大小（MSA_s），另一个用于颜色采样（MSA_c），两者均训练以最大化攻击成功率。

实验结果

研究问题

• RQ1 能否利用元学习自动优化黑盒随机搜索对抗攻击中的搜索分布，从而减少对手动设计的依赖？
• RQ2 所学控制器在不同查询预算下与人工设计调度（如Square Attack、AutoAttack）相比表现如何？
• RQ3 所学元控制器在新模型、新数据集（如CIFAR100、ImageNet）和定向攻击设置下的泛化能力如何？
• RQ4 所学自适应策略是否能提升黑盒环境下的鲁棒性评估准确性和查询效率？
• RQ5 控制器是否可在白盒环境中进行训练，并有效部署于完全黑盒攻击场景？

主要发现

• 与最先进基线（Square Attack、AutoAttack）相比，元平方攻击（MSA）在多种查询预算和模型下，将黑盒鲁棒性估计提升最高达20%。
• 用于更新大小的MSA_s控制器在具有黑盒访问权限的CIFAR10模型上，将攻击成功率最高提升5.6%，尤其在低预算场景下表现显著。
• 用于颜色采样的MSA_c控制器学习到更倾向于选择黑色和白色像素（p ≈ 0.18），而非均匀采样（p = 0.125），反映出模型特定的脆弱性。
• MSA_s与MSA_c的结合在500至5000查询预算范围内均持续优于基线调度，展现出一致的性能提升。
• MSA在CIFAR100和ImageNet上泛化效果良好，在定向攻击设置下，鲁棒准确率最高比最先进基线提升20%。
• 消融研究证实，MSA_s与MSA_c对性能提升均有独立贡献，其中MSA_c在攻击早期阶段表现出尤为显著的优势。