[论文解读] Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness

Fanny Yang, Zuowen Wang+1 more|arXiv (Cornell University)|Jan 1, 2019

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出了一种新颖的不变性诱导正则化方法，通过使用最坏情况的空间变换来提升深度学习模型的预测准确率和空间鲁棒性。通过在变换群中选择对抗性变换进行训练，该方法在CIFAR-10上实现了20%的相对误差降低，并提升了SVHN的标准准确率，证明了鲁棒性与准确率之间不存在权衡。

ABSTRACT

This work provides theoretical and empirical evidence that invariance-inducing regularizers can increase predictive accuracy for worst-case spatial transformations (spatial robustness). Evaluated on these adversarially transformed examples, standard and adversarial training with such regularizers achieves a relative error reduction of 20% for CIFAR-10 with the same computational budget. This even surpasses handcrafted spatial-equivariant networks. Furthermore, we observe for SVHN, known to have inherent variance in orientation, that robust training also improves standard accuracy on the test set. We prove that this no-trade-off phenomenon holds for adversarial examples from transformation groups.

研究动机与目标

• 解决深度神经网络在对抗性空间扰动下缺乏空间鲁棒性的问题。
• 探究使用最坏情况变换的不变性诱导正则化是否能同时提升鲁棒性与标准准确率。
• 建立理论与实证条件，以确定准确率与鲁棒性之间不存在权衡的情形。
• 评估该正则化方法在CIFAR-10和SVHN等基准数据集上的有效性。

提出的方法

• 该方法引入了一种正则化项，明确鼓励模型对变换群内的最坏情况空间变换保持不变性。
• 最坏情况变换通过对抗方式选择，以最大化模型的预测误差，从而构成正则化的困难样本集。
• 将正则化项整合进标准训练与对抗训练目标中，以同时优化干净样本与最坏情况下的鲁棒性。
• 理论分析证明，在变换群结构下，该正则化项可实现标准准确率与鲁棒性之间的无权衡。
• 该方法利用空间变换的群论性质（如旋转、平移等）来定义最坏情况扰动。

实验结果

研究问题

• RQ1 使用最坏情况空间变换的不变性诱导正则化是否能在不牺牲标准准确率的前提下提升模型鲁棒性？
• RQ2 该方法在准确率与鲁棒性方面是否优于手工设计的空间等变网络？
• RQ3 在何种条件下，标准准确率与鲁棒性之间会出现无权衡现象？
• RQ4 该方法在具有固有空间变化性的数据集（如SVHN）上的表现如何？

主要发现

• 在CIFAR-10上，该正则化方法在最坏情况空间变换下将相对误差降低了20%，且计算预算与标准训练相同。
• 在CIFAR-10上，该方法在准确率与空间鲁棒性方面均优于手工设计的空间等变网络。
• 在SVHN上，使用正则化的鲁棒训练提升了标准测试集准确率，表明存在无权衡现象。
• 理论分析确认，该无权衡现象在由变换群导出的对抗样本中依然成立。