[논문 리뷰] A Tutorial on Adversarial Learning Attacks and Countermeasures

Cato Pauling, Michael Gimson외 3명|arXiv (Cornell University)|2022. 02. 21.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 튜토리얼은 오염, 휘발성, 모델 도용, 추론 공격을 포함한 적대적 기계학습 공격—즉, 오염, 휘발성, 모델 도용, 추론 공격—에 대한 종합적인 개요를 제공하며, 적대적 훈련, 방어적 분할, MagNet의 이중 구성 요소 프레임워크(감지기 및 재구성기)와 같은 최신 방어 기법을 평가합니다. 이는 재구성 및 다양체 근접성 기반 방어 기법이 입력을 깨끗한 데이터 분포에 더 가깝게 재구성함으로써 적대적 예제를 효과적으로 완화시킬 수 있음을 보여줍니다.

ABSTRACT

Machine learning algorithms are used to construct a mathematical model for a system based on training data. Such a model is capable of making highly accurate predictions without being explicitly programmed to do so. These techniques have a great many applications in all areas of the modern digital economy and artificial intelligence. More importantly, these methods are essential for a rapidly increasing number of safety-critical applications such as autonomous vehicles and intelligent defense systems. However, emerging adversarial learning attacks pose a serious security threat that greatly undermines further such systems. The latter are classified into four types, evasion (manipulating data to avoid detection), poisoning (injection malicious training samples to disrupt retraining), model stealing (extraction), and inference (leveraging over-generalization on training data). Understanding this type of attacks is a crucial first step for the development of effective countermeasures. The paper provides a detailed tutorial on the principles of adversarial machining learning, explains the different attack scenarios, and gives an in-depth insight into the state-of-art defense mechanisms against this rising threat .

연구 동기 및 목표

• 다양한 공격 유형과 시스템 단계에 걸쳐 적대적 기계학습 위협을 체계적으로 이해하는 것.
• 자율 주행 차량 및 방어 시스템과 같은 안전이 중요한 응용 분야에서 기계학습 모델의 취약점을 분석하는 것.
• 적대적 훈련, 방어적 분할, 재구성 기반 접근법을 포함한 기존 방어 기법을 평가하는 것.
• 특히 자원이 제한된 환경에서 효과적인 방어를 구현하는 데 직면한 과제를 부각하는 것.
• 공격 표면, 능력, 목표를 기반으로 공격을 분류하는 통합된 위협 모델을 제공하는 것.

제안 방법

• 공격 표면, 적대자 능력, 그리고 적대적 목표를 기반으로 하는 통합된 위협 모델을 제안하며, 이는 훈련 및 추론 단계에 적용됩니다.
• 공격을 네 가지 유형으로 분류합니다: 오염(입력 편향), 오염(악성 훈련 데이터 주입), 모델 도용(추출), 추론(과도한 일반화의 악용).
• MagNet을 소개합니다. 이는 자동에코더 재구성 오차를 사용해 적대적 입력을 식별하는 감지기와 입력을 데이터 다양체 위로 재구성하는 재구성기로 구성된 이중 구성 요소 방어입니다.
• 청결한 데이터의 분포를 학습하기 위해 자동에코더를 사용하여, 적대적 예제를 양호한 대체물로 재구성할 수 있습니다.
• 재구성 오차를 기반으로 한 확률적 거리 측정법을 사용하여 깨끗한 입력과 적대적 입력을 구분함으로써 방어의 강건성을 향상시킵니다.
• 재구성기에서 여러 자동에코더를 무작위로 선택하여 방어의 다양성을 높이고 적대적 적응을 어렵게 합니다.

실험 결과

연구 질문

• RQ1 공격 표면, 능력, 목표를 기반으로 적대적 공격를 체계적으로 분류할 수 있는 방법은 무엇인가요?
• RQ2 적대자가 악용할 수 있는 기계학습 모델의 훈련 및 추론 단계에서의 주요 취약점은 무엇인가요?
• RQ3 MagNet과 같은 재구성 기반 방어 기법은 적대적 예제를 탐지하고 수정하는 데 얼마나 효과적인가요?
• RQ4 특히 자원이 제한된 시스템에서 방어의 강건성과 계산 오버헤드 사이의 상충 관계는 무엇인가요?
• RQ5 단일 모델 방어를 우회하기 위해 공격을 맞춤형으로 조정하는 적응형 적대자에 대응하기 위해 방어를 어떻게 강화할 수 있을까요?

주요 결과

• 적대적 공격는 자율 주행 차량 및 방어 시스템과 같은 안전이 중요한 분야에서 기계학습 시스템에 중대한 위협을 가합니다.
• 적대적 훈련 및 방어적 분할과 같은 방어 기법은 강건성을 향상시킵니다만, 적응형 적대자에 대한 완전한 보호를 제공하지는 못할 수 있습니다.
• MagNet의 감지기는 재구성 오차를 측정함으로써 적대적 예제를 효과적으로 식별합니다. 더 높은 오차는 데이터 다양체에서의 이탈을 나타냅니다.
• MagNet의 재구성기 구성 요소는 적대적 입력을 깨끗한 데이터에 더 가깝게 재구성하여 오분류율을 감소시킵니다.
• 재구성기에서 여러 자동에코더를 무작위로 선택함으로써 방어의 다양성이 증가하고 적대적 성공의 가능성이 감소합니다.
• 진전이 있었음에도 불구하고, 자원이 제한된 시스템에서 방어의 효율적 구현은 여전히 도전 과제입니다.