[논문 리뷰] Susceptibility of Continual Learning Against Adversarial Attacks

Hikmat Ullah Khan, Pir Masoom Shah외 3명|arXiv (Cornell University)|2022. 07. 11.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 작업-, 도메인-, 클래스-증분 학습 설정에서 지속적 학습 모델이 적대적 공격에 취약한지 조사한다. 최신 기법들—정규화 기반(EWC, SI), 리플레이 기반(DGR, LwF), 하이브리드 기반(iCARL)—이 적대적 예제에 매우 취약하다는 것을 입증하며, 현재 또는 과거의 어떤 클래스도 목표 클래스로 잘못 분류할 수 있음을 보여주며, 지속적 학습 시스템에 심각한 보안 결함을 드러낸다.

ABSTRACT

Recent continual learning approaches have primarily focused on mitigating catastrophic forgetting. Nevertheless, two critical areas have remained relatively unexplored: 1) evaluating the robustness of proposed methods and 2) ensuring the security of learned tasks. This paper investigates the susceptibility of continually learned tasks, including current and previously acquired tasks, to adversarial attacks. Specifically, we have observed that any class belonging to any task can be easily targeted and misclassified as the desired target class of any other task. Such susceptibility or vulnerability of learned tasks to adversarial attacks raises profound concerns regarding data integrity and privacy. To assess the robustness of continual learning approaches, we consider continual learning approaches in all three scenarios, i.e., task-incremental learning, domain-incremental learning, and class-incremental learning. In this regard, we explore the robustness of three regularization-based methods, three replay-based approaches, and one hybrid technique that combines replay and exemplar approaches. We empirically demonstrated that in any setting of continual learning, any class, whether belonging to the current or previously learned tasks, is susceptible to misclassification. Our observations identify potential limitations of continual learning approaches against adversarial attacks and highlight that current continual learning algorithms could not be suitable for deployment in real-world settings.

연구 동기 및 목표

• 기존 연구에서 거의 간과된 차원인 지속적 학습 모델의 적대적 공격에 대한 내성에 대해 조사하기 위해.
• 다양한 지속적 학습 시나리오에서 현재 및 과거에 학습된 작업이 적대적 오분류에 얼마나 취약한지 평가하기 위해.
• 특히 잘못된 기억 형성(오분류를 통한)을 통해 지속적 학습에서 적대적 예제가 초래하는 보안 위험을 부각하기 위해.
• 비재앙적 기억 방지 외에도 적대적 내성 메트릭을 지속적 학습 평가에 통합할 것을 주장하기 위해.
• 기억 상실에 저항하고 적대적 조작에 강건한 지속적 학습 방법을 개발하기 위한 패러다임 전환을 촉구하기 위해.

제안 방법

• 작업-, 도메인-, 클래스-증분 학습 세 가지 증분 학습 설정에서 10개의 최신 지속적 학습 기법을 평가하였다.
• 정규화 기반(EWC, EWC 온라인, SI), 리플레이 기반(LwF, DGR, DGR+Distill), 하이브리드 기반(iCARL) 기법으로 학습된 모델에 대해 세 가지 적대적 공격 방법(FGSM, PGD, CW)을 적용하였다.
• 적대적 편향 하에서의 성능 저하를 측정하기 위해 클래스별 및 집합적 정확도 분석을 수행하였다.
• 현재 또는 과거에 학습된 클래스일지라도, 다른 작업의 목표 클래스로 어떤 클래스도 잘못 분류하도록 조작된 적대적 예제를 사용하였다.
• 모든 설정에서 청소된 조건과 적대적 조건 하에서의 모델 성능을 비교하여 내성 손실을 정량화하였다.
• 내성 향상을 위해 각 작업 학습 단계에서 적대적 훈련을 통합하는 미래의 방안을 제안하였다.

실험 결과

연구 질문

• RQ1 지속적 학습 모델에서 현재 또는 과거에 학습된 클래스 중 어떤 클래스도 목표 클래스로 적대적 공격를 통해 성공적으로 잘못 분류할 수 있는가?
• RQ2 정규화 기반, 리플레이 기반, 하이브리드 기반 지속적 학습 기법의 내성은 다양한 증분 학습 시나리오에서 적대적 공격 하에 어떻게 달라지는가?
• RQ3 적대적 예제는 지속적 학습 시스템에서 과거에 학습된 지식의 무결성을 어느 정도 손상시키는가?
• RQ4 지속적 학습 모델의 적대적 취약성은 보안이 중요한 실세계 응용 분야에 구현할 경우 어떤 함의를 갖는가?
• RQ5 기억 상실 완화 능력을 훼손하지 않으면서 적대적 내성을 체계적으로 지속적 학습 프레임워크에 통합하는 방법은 무엇인가?

주요 결과

• 평가된 모든 지속적 학습 기법—아키텍처나 전략에 관계없이—작업-, 도메인-, 클래스-증분 학습 설정 전반에서 높은 적대적 공격 취약성을 보였다.
• 적대적 예제를 통해 과거에 학습된 클래스일지라도 다른 작업의 목표 클래스로 높은 성공률로 잘못 분류할 수 있었다.
• FGSM, PGD, CW 공격 하에서 명백한 정확도 저하가 관찰되었으며, 특히 iCARL의 경우 CW 공격 하에서 클래스별 및 집합적 성능이 크게 저하되었다.
• 이 취약성은 모든 세 가지 시나리오에서 일관되게 나타나, 현재 지속적 학습 접근법이 적대적 내성 측면에서 체계적인 결함을 지닌다는 것을 시사한다.
• 연구는 잘못된 기억 형성—모델이 입력을 과거 작업과 잘못 연결하는 것—이 적대적 조작을 통해 유도될 수 있음을 드러냈다.
• 현재 지속적 학습 모델들은 적대적 예제에 대한 충분한 방어 메커니즘이 없어, 실세계 구현에서의 신뢰성과 보안을 약화시킨다.