[论文解读] Can we achieve robustness from data alone?

Nikolaos Tsilivis, Jingtong Su+1 more|arXiv (Cornell University)|Jul 24, 2022

Adversarial Robustness in Machine Learning被引用 9

一句话总结

该论文提出 adv-KIP，一种元学习算法，通过使用神经正切核（NTK）的核回归优化训练数据，以提升对抗鲁棒性，从而在标准训练下实现对基于梯度攻击的鲁棒模型。尽管在 PGD 攻击下表现出高鲁棒性，但使用 adv-KIP 优化数据训练的模型在 AutoAttack 下失败，原因在于梯度屏蔽和过度自信，暴露出一种虚假的鲁棒性。

ABSTRACT

We introduce a meta-learning algorithm for adversarially robust classification. The proposed method tries to be as model agnostic as possible and optimizes a dataset prior to its deployment in a machine learning system, aiming to effectively erase its non-robust features. Once the dataset has been created, in principle no specialized algorithm (besides standard gradient descent) is needed to train a robust model. We formulate the data optimization procedure as a bi-level optimization problem on kernel regression, with a class of kernels that describe infinitely wide neural nets (Neural Tangent Kernels). We present extensive experiments on standard computer vision benchmarks using a variety of different models, demonstrating the effectiveness of our method, while also pointing out its current shortcomings. In parallel, we revisit prior work that also focused on the problem of data optimization for robust classification \citep{Ily+19}, and show that being robust to adversarial attacks after standard (gradient descent) training on a suitable dataset is more challenging than previously thought.

研究动机与目标

• 探究是否仅通过数据优化即可实现机器学习中的鲁棒性，而无需修改专用训练算法。
• 开发一种模型无关的方法，对数据集进行预处理，以消除非鲁棒特征并增强鲁棒泛化能力。
• 评估在优化数据上进行标准训练是否能产生与对抗训练相当的鲁棒模型。
• 诊断为何基于优化数据训练的模型对某些攻击表现鲁棒，但对其他攻击（尤其是自适应攻击）失败。

提出的方法

• 将数据优化表述为基于神经正切核（NTK）的双层优化问题，NTK 用于建模无限宽的神经网络。
• 采用元优化框架，迭代调整训练数据，以最小化对抗扰动下的鲁棒损失。
• 采用基于梯度的方法优化数据集，使得在该数据集上训练的模型对基于梯度的攻击表现出高鲁棒性。
• 以核诱导点（KIP）框架为基础，通过引入对抗训练信号，将其扩展至对抗鲁棒性。
• 在各种核类型和扰动集（ε = 0.3，PGD 步骤 = 10）下，将该方法应用于标准基准数据集（MNIST、CIFAR-10）。
• 通过梯度范数、置信度直方图和损失分解分析模型行为，以诊断失败模式。

实验结果

研究问题

• RQ1 是否仅通过数据优化即可实现对抗鲁棒性，而无需修改训练算法？
• RQ2 在数据优化集上进行标准训练是否能产生对基于梯度的对抗攻击鲁棒的模型？
• RQ3 为何在优化数据上训练的模型在 PGD 攻击下表现鲁棒，却在自适应攻击（如 AutoAttack）下失败？
• RQ4 数据优化模型中的根本失败机制是什么，例如梯度屏蔽或过度自信？
• RQ5 与通过标准对抗训练训练出的模型相比，数据优化模型的特性有何不同？

主要发现

• 在 MNIST 上，adv-KIP 将鲁棒准确率从 0.07% 提升至 42.94%，同时保持 97.67% 的干净准确率。
• 在 CIFAR-10 上，使用 adv-KIP 优化数据训练的模型对 PGD 攻击表现出高鲁棒性，但对 AutoAttack 完全失效。
• 模型在正确分类样本上表现出梯度消失，表明存在梯度屏蔽，这是脆弱鲁棒性的典型特征。
• adv-KIP 和 RFD 数据集均导致模型在误分类样本上出现梯度范数爆炸，表明学习动态不佳。
• 在优化数据上训练的模型表现出高度过度自信且校准性差，与对抗训练模型中平衡的置信度分布形成鲜明对比。
• 本研究揭示，通过基于梯度的优化实现的数据鲁棒性可能制造虚假的安全感，因为鲁棒性无法泛化至自适应攻击。