[논문 리뷰] When Does Machine Learning FAIL? Generalized Transferability for Evasion and Poisoning Attacks

Octavian Suciu, Radu Mărginean외 3명|arXiv (Cornell University)|2018. 01. 01.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 109

한 줄 요약

이 논문은 제한된 지식과 제어 능력이라는 현실적인 제약 조건 하에서 기계학습 공격을 평가하기 위한 체계적인 프레임워크인 FAIL 공격자 모델을 제안한다. 다양한 모델과 방어 기법을 통해 악성 공격 및 오염 공격의 일반화된 이행성(transferability)을 입증하며, 세 가지 알고리즘을 사용하고 두 가지 방어 기법을 우회하는 네 가지 기계학습 응용 프로그램에 효과적인 실용적 타겟 오염 공격인 StingRay를 도입한다.

ABSTRACT

Attacks against machine learning systems represent a growing threat as highlighted by the abundance of attacks proposed lately. However, attacks often make unrealistic assumptions about the knowledge and capabilities of adversaries. To evaluate this threat systematically, we propose the FAIL attacker model, which describes the adversary's knowledge and control along four dimensions. The FAIL model allows us to consider a wide range of weaker adversaries that have limited control and incomplete knowledge of the features, learning algorithms and training instances utilized. Within this framework, we evaluate the generalized transferability of a known evasion attack and we design StingRay, a targeted poisoning attack that is broadly applicable---it is practical against 4 machine learning applications, which use 3 different learning algorithms, and it can bypass 2 existing defenses. Our evaluation provides deeper insights into the transferability of poison and evasion samples across models and suggests promising directions for investigating defenses against this threat.

연구 동기 및 목표

• 실제 공격자 가정 조건 하에서 기계학습 공격에 대한 체계적 평가가 부족한 점을 해결하기 위해.
• 특성, 학습 알고리즘, 훈련 인스턴스에 대한 지식과 제어 능력이 제한된 공격자를 모델링하기 위해.
• 다양한 모델과 학습 알고리즘 간에 악성 공격 및 오염 공격의 이행성 평가를 위해.
• 기존 방어 기법을 우회할 수 있는 광범위하게 적용 가능한 실용적 오염 공격을 설계하기 위해.
• 이행 가능한 오염 공격 및 악성 공격에 대응하는 효과적인 방어 전략에 대한 통찰을 제공하기 위해.

제안 방법

• 공격자 능력의 네 가지 차원(특성 지식, 학습 알고리즘 지식, 훈련 인스턴스 지식, 모델 업데이트 제어 능력)을 정의하는 FAIL 공격자 모델을 제안한다.
• FAIL 프레임워크 하에서 다양한 모델과 데이터셋을 대상으로 알려진 악성 공격의 일반화된 이행성을 평가한다.
• 정교하게 설계된 훈련 샘플을 주입하여 모델 동작을 조작하는 타겟 오염 공격인 StingRay를 설계한다.
• 세 가지 다른 학습 알고리즘(SVM, 신경망, 결정 트리 등)을 사용하여 네 가지 기계학습 응용 프로그램에 StingRay를 적용한다.
• 두 가지 기존 방어 기법에 대한 StingRay의 효과성을 시험하여 우회 능력을 입증한다.
• 다양한 수준의 공격자 지식과 제어 능력 하에서 공격의 강건성(Systematic robustness)을 분석하기 위해 FAIL 모델을 체계적으로 활용한다.

실험 결과

연구 질문

• RQ1 FAIL 모델이 정의한 현실적인 공격자 제약 조건 하에서 악성 공격의 이행성은 어떻게 변할까?
• RQ2 한 가지 오염 공격이 다양한 기계학습 응용 프로그램과 알고리즘으로 일반화될 수 있는가?
• RQ3 제한된 공격자 지식 하에서 기존 방어 기법이 이행 가능한 오염 공격에 얼마나 효과적으로 대응할 수 있는가?
• RQ4 오염 공격에서 일반화된 이행성을 가능하게 하는 핵심 요소는 무엇인가?
• RQ5 FAIL 모델은 기계학습의 악성 위협 체계적 평가를 어떻게 향상시키는가?

주요 결과

• FAIL 모델은 현실적인 공격자 가정 조건 하에서 공격 평가를 체계적으로 가능하게 하며, 지식과 제어 능력이 약한 공격자라도 효과적인 공격을 수행할 수 있음을 드러낸다.
• 공격자가 대상 모델에 대한 지식이 제한되어 있어도 악성 공격는 모델 간에 상당한 이행성을 보인다.
• StingRay는 세 가지 다른 학습 알고리즘을 사용하여 네 가지 기계학습 응용 프로그램에서 타겟 오염 공격을 성공적으로 수행한다.
• StingRay는 두 가지 기존 방어 기법을 우회하여 실용성과 기존 방어 기법에 대한 강건성을 입증한다.
• 연구 결과는 공격자 지식이 제한된 상황에서도 오염 공격의 이행성이 가능함을 시사하며, 더 넓은 위협 표면이 존재할 수 있음을 시사한다.
• 결과적으로 방어 기법은 실제 공격자에 대응하기 위해 일반화된 이행성을 고려해야 효과적일 수 있다.