[论文解读] A Simple Approach to Adversarial Robustness in Few-shot Image Classification

Akshayvarun Subramanya, Hamed Pirsiavash|arXiv (Cornell University)|Apr 11, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种简单且可扩展的方法，通过先在大规模数据集上对基础模型进行对抗性训练，然后在新型少样本类别上使用校准的最近中心分类器，来提升少样本图像分类中的对抗鲁棒性。该方法在标准基准测试中优于最先进的一致性元学习方法，计算开销极低，并可与可验证鲁棒性技术集成。

ABSTRACT

Few-shot image classification, where the goal is to generalize to tasks with limited labeled data, has seen great progress over the years. However, the classifiers are vulnerable to adversarial examples, posing a question regarding their generalization capabilities. Recent works have tried to combine meta-learning approaches with adversarial training to improve the robustness of few-shot classifiers. We show that a simple transfer-learning based approach can be used to train adversarially robust few-shot classifiers. We also present a method for novel classification task based on calibrating the centroid of the few-shot category towards the base classes. We show that standard adversarial training on base categories along with calibrated centroid-based classifier in the novel categories, outperforms or is on-par with state-of-the-art advanced methods on standard benchmarks for few-shot learning. Our method is simple, easy to scale, and with little effort can lead to robust few-shot classifiers. Code is available here: \url{https://github.com/UCDvision/Simple_few_shot.git}

研究动机与目标

• 解决少样本分类器在低数据环境下对对抗样本的脆弱性问题。
• 开发一种方法，在计算成本极低且无需复杂元学习的情况下实现鲁棒泛化。
• 通过与标准训练范式对齐，使高级鲁棒性技术（如认证鲁棒性）能够应用于少样本学习。
• 证明标准的小批量对抗性训练足以实现鲁棒的少样本泛化，从而挑战对复杂周期性元学习的依赖。

提出的方法

• 使用标准小批量对抗性训练，在大规模干净基础数据集上训练特征提取器和线性分类器。
• 在基础训练完成后冻结特征提取器，并用其嵌入新型少样本支持集。
• 应用一种使用 m 个基础类别中心的校准最近中心（CNC）分类器，以优化对新类别的预测。
• 通过将新类别的中心与来自基础类别的最近 m 个中心进行平均，对新类别的中心进行校准，从而提升泛化能力和鲁棒性。
• 使用与标准模型相同的主干网络和训练设置，从而可轻松集成现有鲁棒性技术。
• 在推理时使用冻结的特征提取器和校准的线性分类器，避免推理过程中重新训练或生成对抗样本。

实验结果

研究问题

• RQ1 在大规模基础数据集上使用标准对抗性训练，是否可以在不依赖元学习或周期性训练的情况下提升少样本图像分类的鲁棒性？
• RQ2 与标准线性分类器相比，校准的最近中心分类器是否能在少样本设置中提升鲁棒性？
• RQ3 所提出的方法能否扩展到可验证鲁棒分类，例如使用区间边界传播（IBP）？
• RQ4 在训练线性分类器时是否应包含来自少样本数据的对抗样本？这是否会提升鲁棒性或导致性能下降？
• RQ5 在校准过程中使用的基础类别中心数量（m）如何影响最终模型的鲁棒性和准确性？

主要发现

• 所提方法在 Mini-ImageNet 和 CIFAR-FS 等标准少样本基准上实现了最先进或具有竞争力的鲁棒准确率，优于复杂的元学习方法。
• 使用 m=2 个基础类别中心的校准最近中心（CNC）分类器表现最佳，表明少量基础类别原型已足以实现有效校准。
• 在使用 ResNet18 的 Mini-ImageNet（1-shot）上，该方法在 20 步 PGD 攻击下实现了 21.38% 的鲁棒准确率，优于在干净数据上训练的基线线性分类器（19.56%）或在对抗样本上训练的分类器（18.83%）。
• 该方法支持可验证鲁棒性技术：当与 IBP 结合时，CNC 方法在 CIFAR-FS 上实现了 23.25% 的验证准确率，证明其与认证鲁棒性兼容。
• 在训练线性分类器时包含来自少样本数据的对抗样本会导致性能下降，表明此类数据在鲁棒泛化方面不如基础数据有效。
• 校准步骤为一次性预处理操作，不影响推理速度，使该方法在实际部署中具有可行性。