[论文解读] Geometric robustness of deep networks: analysis and improvement

Can Kanbak, Seyed-Mohsen Moosavi-Dezfooli+1 more|arXiv (Cornell University)|Nov 24, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用 9

一句话总结

本文提出 ManiFool，一种可扩展的算法，通过寻找使分类器失效的最小对抗性变换来衡量并提升深度神经网络的几何鲁棒性。通过在几何变换的流形上执行梯度下降，ManiFool 识别出最坏情况下的扰动，使用这些样本进行对抗性训练可显著增强网络对最坏情况和随机几何变换的不变性，在 CIFAR-10 上误分类率降低超过 20%。

ABSTRACT

Deep convolutional neural networks have been shown to be vulnerable to arbitrary geometric transformations. However, there is no systematic method to measure the invariance properties of deep networks to such transformations. We propose ManiFool as a simple yet scalable algorithm to measure the invariance of deep networks. In particular, our algorithm measures the robustness of deep networks to geometric transformations in a worst-case regime as they can be problematic for sensitive applications. Our extensive experimental results show that ManiFool can be used to measure the invariance of fairly complex networks on high dimensional datasets and these values can be used for analyzing the reasons for it. Furthermore, we build on Manifool to propose a new adversarial training scheme and we show its effectiveness on improving the invariance properties of deep neural networks.

研究动机与目标

• 为解决在真实世界应用中缺乏系统性方法来衡量深度网络对几何变换的不变性。
• 开发一种可扩展的、基于流形的算法，以识别导致误分类的最小对抗性变换。
• 评估 ImageNet 训练的网络对最坏情况和随机几何变换的鲁棒性。
• 通过使用所提方法生成的最坏情况变换进行对抗性训练，提升网络的不变性。

提出的方法

• ManiFool 在几何变换的流形（例如仿射、投影）上执行梯度下降，以找到使深度网络分类器失效的最小变换。
• 该算法使用参数向量表示变换，并利用测地线距离度量来衡量流形上变换的大小。
• 它迭代更新变换参数，以最小化正确类别的置信度，同时保持在变换群的流形内。
• 不变性得分定义为在数据集上使网络失效所需的最小变换大小的平均值。
• 通过在 ManiFool 找到的最坏情况变换样本上微调网络，执行对抗性训练。
• 该方法在 ImageNet 和 CIFAR-10 上使用 ResNet、VGG 和 AlexNet 架构进行了评估。

实验结果

研究问题

• RQ1 我们如何系统性地衡量深度神经网络在最坏情况下的几何鲁棒性？
• RQ2 ImageNet 训练的网络对小而难以察觉的几何变换的脆弱程度如何？
• RQ3 使用最坏情况几何变换进行对抗性训练能否同时提升最坏情况和随机鲁棒性？
• RQ4 不同网络架构在几何变换下的不变性表现如何比较？

主要发现

• ManiFool 在复杂网络和高维数据集上成功衡量了几何不变性，揭示了即使是最先进的模型也对微小且难以察觉的变换存在脆弱性。
• 尽管准确率相似，ResNet-34 和 ResNet-50 对随机变换的不变性优于 VGG 网络。
• 使用 ManiFool 生成的示例进行对抗性训练后，ResNet-18 在 CIFAR-10 上的不变性得分从基线的 1.10 提升至 1.78（经过一个训练周期）。
• 在测地线距离为 2.5 的随机仿射变换下，误分类率在对抗性微调后下降超过 20%。
• 该方法不仅提升了对最坏情况变换的鲁棒性，也增强了对随机变换的鲁棒性，表明具有泛化优势。
• 尽管测试准确率下降 0.6%，但考虑到几何鲁棒性的显著提升，这种权衡是可接受的。