[论文解读] Exploring the Landscape of Spatial Robustness

Logan Engstrom, Brandon Tran+3 more|arXiv (Cornell University)|Dec 7, 2017

Land Use and Ecosystem Services被引用 253

一句话总结

本论文研究神经分类器对小角度旋转和位移的脆弱性，显示一阶方法难以找到最坏-case 的空间扰动，并提出鲁棒优化和输入聚合防御，显著提升空间鲁棒性。

ABSTRACT

The study of adversarial robustness has so far largely focused on perturbations bound in p-norms. However, state-of-the-art models turn out to be also vulnerable to other, more natural classes of perturbations such as translations and rotations. In this work, we thoroughly investigate the vulnerability of neural network--based classifiers to rotations and translations. While data augmentation offers relatively small robustness, we use ideas from robust optimization and test-time input aggregation to significantly improve robustness. Finally we find that, in contrast to the p-norm case, first-order methods cannot reliably find worst-case perturbations. This highlights spatial robustness as a fundamentally different setting requiring additional study. Code available at https://github.com/MadryLab/adversarial_spatial and https://github.com/MadryLab/spatial-pytorch.

研究动机与目标

• 评估小幅旋转和翻译如何在 MNIST、CIFAR-10 和 ImageNet 上降低图像分类器准确度。
• 描述空间扰动的优化景观并比较攻击方法（第一阶、网格、worst-of-k）。
• 开发并评估防御措施以提高对空间变换的鲁棒性。
• 考察空间扰动与传统像素级扰动之间的交互。
• 提出实用策略（鲁棒训练和输入聚合）以增强空间鲁棒性。

提出的方法

• 用旋转角度和像素平移来参数化空间扰动。
• 攻击方式：(i) 在旋转-平移参数空间中的一阶优化，(ii) 对扰动空间的网格搜索，(iii) 对扰动的 worst-of-k 采样。
• 使用可微的空间变换网络实现 T(x; delta_u, delta_v, theta)，其采用双线性插值。
• 通过对训练样本在训练期间 adversarially 选择 worst of k perturbations 来应用鲁棒优化风格的训练。
• 提出在推理阶段通过对多次随机空间变换进行多数投票来进行聚合。
• 在 MNIST、CIFAR-10 和 ImageNet 上评估，扰动空间受限（高达 ~30 度和 ~10% 平移）。
• 比较防御方法包括标准训练、随机旋转/平移，以及对10个扰动的 worst-of-10 训练，与基线和 l_infinity 对抗训练进行对比。

实验结果

研究问题

• RQ1 小幅旋转和平移如何影响常见视觉数据集上的分类器准确率？
• RQ2 与网格搜索或随机采样相比，一阶优化方法在寻找最坏情况的空间扰动方面是否有效？
• RQ3 鲁棒训练或输入聚合策略是否能降低空间脆弱性？
• RQ4 空间扰动是否会与像素级（l_infty）扰动相互作用，鲁棒性概念是否正交？

主要发现

模型	自然	随机	网格	随机平移	网格平移	随机旋转	网格旋转
MNIST	99.31%	94.23%	26.02%	98.61%	89.80%	95.68%	70.98%
CIFAR10	92.62%	60.93%	2.80%	88.54%	66.17%	75.36%	24.71%
ImageNet	75.96%	63.39%	31.42%	73.24%	60.42%	67.90%	44.98%

• 分类器对空间扰动非常脆弱；小幅随机旋转/平移会显著降低在 MNIST、CIFAR-10 和 ImageNet 上的准确率。
• 基于穷尽网格搜索的对手在空间扰动方面比一阶方法更强，因为损失景观高度非凹。
• Worst-of-10 随机空间扰动是一个强大的黑盒式攻击，在有限查询下实现大幅度的准确率下降。
• 对 MNIST 和 CIFAR-10 的随机空间变换数据增强能提升鲁棒性，但对 ImageNet 的提升较小；l_infinity 对抗训练不足以实现空间鲁棒性。
• 鲁棒优化（worst-of-10 训练）和多数推断（随机变换聚合）显著提升空间鲁棒性，相对于标准训练和仅数据增强取得显著提升。
• 组合的空间和 l_infinity 扰动往往互为正交效应，防御两者时鲁棒性呈累积提升。