[论文解读] Susceptibility of Continual Learning Against Adversarial Attacks

Hikmat Ullah Khan, Pir Masoom Shah+3 more|arXiv (Cornell University)|Jul 11, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文研究了持续学习模型在任务增量、领域增量和类别增量学习设置下对对抗攻击的脆弱性。结果表明，最先进方法——包括基于正则化（EWC、SI）、回放（DGR、LwF）和混合方法（iCARL）——对对抗样本高度敏感，能够将任何类别（当前或过去）错误分类至目标类别，揭示了持续学习系统中关键的安全缺陷。

ABSTRACT

Recent continual learning approaches have primarily focused on mitigating catastrophic forgetting. Nevertheless, two critical areas have remained relatively unexplored: 1) evaluating the robustness of proposed methods and 2) ensuring the security of learned tasks. This paper investigates the susceptibility of continually learned tasks, including current and previously acquired tasks, to adversarial attacks. Specifically, we have observed that any class belonging to any task can be easily targeted and misclassified as the desired target class of any other task. Such susceptibility or vulnerability of learned tasks to adversarial attacks raises profound concerns regarding data integrity and privacy. To assess the robustness of continual learning approaches, we consider continual learning approaches in all three scenarios, i.e., task-incremental learning, domain-incremental learning, and class-incremental learning. In this regard, we explore the robustness of three regularization-based methods, three replay-based approaches, and one hybrid technique that combines replay and exemplar approaches. We empirically demonstrated that in any setting of continual learning, any class, whether belonging to the current or previously learned tasks, is susceptible to misclassification. Our observations identify potential limitations of continual learning approaches against adversarial attacks and highlight that current continual learning algorithms could not be suitable for deployment in real-world settings.

研究动机与目标

• 研究持续学习模型在对抗攻击下的鲁棒性，这一维度在以往研究中被严重忽视。
• 评估当前和先前学习任务在不同持续学习场景下对对抗错误分类的敏感性。
• 强调对抗样本对持续学习造成的安全风险，特别是通过错误分类导致虚假记忆的形成。
• 倡导将对抗鲁棒性度量纳入持续学习评估体系，而不仅限于灾难性遗忘缓解。
• 呼吁范式转变，开发既抗遗忘又抗对抗操纵的持续学习方法。

提出的方法

• 在三种增量学习设置下评估了10种最先进持续学习方法：任务增量、领域增量和类别增量学习。
• 对采用正则化（EWC、EWC online、SI）、回放（LwF、DGR、DGR+Distill）和混合（iCARL）技术训练的模型应用了三种对抗攻击方法——FGSM、PGD和CW。
• 通过类别特定和整体准确率分析，衡量对抗扰动下的性能退化情况。
• 使用对抗样本将任何类别（无论是否当前类别或先前学习类别）错误分类为目标类别，且目标类别来自另一任务。
• 对比干净样本与对抗样本下的模型性能，量化所有设置下的鲁棒性损失。
• 提出在每个任务训练阶段集成对抗训练，以提升模型鲁棒性。

实验结果

研究问题

• RQ1 对抗攻击能否在持续学习模型中成功将任意类别（包括当前或先前学习的类别）错误分类为目标类别？
• RQ2 在不同增量学习场景下，基于正则化、基于回放和混合型持续学习方法在对抗攻击下的鲁棒性如何变化？
• RQ3 对抗样本在多大程度上破坏了持续学习系统中先前学习知识的完整性？
• RQ4 对抗脆弱性对在安全关键型现实应用场景中部署持续学习模型有何影响？
• RQ5 如何系统性地将对抗鲁棒性整合进持续学习框架，而不损害其缓解灾难性遗忘的能力？

主要发现

• 所有评估的持续学习方法——无论架构或策略如何——在任务增量、领域增量和类别增量学习设置下均表现出对对抗攻击的高度敏感性。
• 对抗样本能够以高成功率将任意类别（包括先前学习的类别）错误分类为目标类别，且目标类别来自另一任务。
• 在FGSM、PGD和CW攻击下观察到显著的准确率下降，类别级和整体性能均大幅退化，尤其在iCARL模型上CW攻击下表现尤为明显。
• 该脆弱性在所有三种场景中均一致存在，表明当前持续学习方法在对抗鲁棒性方面存在系统性缺陷。
• 本研究揭示，虚假记忆形成——即模型错误地将输入与过去任务关联——可通过对抗操纵诱导产生。
• 当前的持续学习模型缺乏足够的防御机制来应对对抗样本，严重削弱了其在现实部署中的可靠性与安全性。