[논문 리뷰] Transferability in Machine Learning: from Phenomena to Black-Box Attacks using Adversarial Samples

Nicolas Papernot, Patrick McDaniel외 1명|arXiv (Cornell University)|2016. 05. 24.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 1,415

한 줄 요약

본 논문은 다양한 ML 모델에서 적대적 샘플의 전달성(adversarial sample transferability)을 연구하고, 오라클 질의를 통한 대체 모델 학습 및 데이터셋 확장을 통해 실제 서비스에 대한 실용적 블랙박스 공격을 시연한다.

ABSTRACT

Many machine learning models are vulnerable to adversarial examples: inputs that are specially crafted to cause a machine learning model to produce an incorrect output. Adversarial examples that affect one model often affect another model, even if the two models have different architectures or were trained on different training sets, so long as both models were trained to perform the same task. An attacker may therefore train their own substitute model, craft adversarial examples against the substitute, and transfer them to a victim model, with very little information about the victim. Recent work has further developed a technique that uses the victim model as an oracle to label a synthetic training set for the substitute, so the attacker need not even collect a training set to mount the attack. We extend these recent techniques using reservoir sampling to greatly enhance the efficiency of the training procedure for the substitute model. We introduce new transferability attacks between previously unexplored (substitute, victim) pairs of machine learning model classes, most notably SVMs and decision trees. We demonstrate our attacks on two commercial machine learning classification systems from Amazon (96.19% misclassification rate) and Google (88.94%) using only 800 queries of the victim model, thereby showing that existing machine learning approaches are in general vulnerable to systematic black-box attacks regardless of their structure.

연구 동기 및 목표

• 여러 ML 모델 클래스 간의 적대적 샘플 전달성을 동기화하고 특성화한다.
• 다양한 모델 전반에서 MNIST에 대해 intra-technique 및 cross-technique 전달성을 평가한다.
• 오라클 접근을 통해 대체 모델 학습 기법을 개발하여 블랙박스 공격을 가능하게 한다.
• 제한된 질의를 가진 상용 분류기에 대해 실용적인 블랙박스 공격을 시연한다.

제안 방법

• intra-technique 및 cross-technique 전달성을 정의하고 이를 실험적으로 정량화한다.
• MNIST에서 각 기술별로 여러 모델(DNN, LR, SVM, DT, kNN)을 학습하고 적대적 샘플을 제작한다.
• 다른 모델에서 오분류 비율로 전달성 비율을 측정한다.
• refinement(주기적 스텝 크기, 저장소 샘플링)을 통한 Jacobian 기반 데이터셋 확장을 통해 대체 모델 학습을 확장한다.
• 제한된 질의로 학습된 대체 모델을 사용하여 Amazon 및 Google 분류기에 대해 블랙박스 공격을 시연한다.

실험 결과

연구 질문

• RQ1 일반적인 ML 기술 간에 intra-technique 및 cross-technique 적대적 샘플 전달이 견고하게 성립하는가?
• RQ2 오라클 질의를 통해 학습된 대체 모델이 알려지지 않은 대상 분류기에 대해 효과적으로 블랙박스 공격을 가능하게 하는가?
• RQ3 제한된 질의와 비심층(target이 아닌) 모델에 대해 상용 분류기에 대해 실용적인 블랙박스 공격이 가능한가?

주요 결과

• 동일 기술 내에서의 적대적 샘플 전달은 잘 이루어지며(예: LR > 94% 전달), 여러 모델 쌍 간 교차 기술에서도 전달성이 나타난다.
• 교차 기술 전달성은 강하지만 이질적이다: DT가 가장 큰 취약성을 보이며 47.20%–89.29%, 반면 DNN은 상대적으로 더 회복력이 있어 0.82%–38.27%의 범위를 보인다.
• 대체 모델(DNN, LR, SVM, DT, kNN)은 반복적 확장을 거쳐 MNIST 테스트 데이터에서 목표 레이블과의 일치율을 77%–83% 수준으로 맞추도록 학습될 수 있으며, 이는 오라클에 따라 달라진다.
• 주기적 스텝 크기 및 저장소 샘플링이 대체-레이블 일치를 크게 개선하고 오라클 질의 수를 줄인다.
• Amazon 및 Google 분류기에 대한 블랙박스 공격은 로지스틱 회귀 대체를 사용해 입력의 96.19%와 88.94%를 오분류하며, 질의는 단 800회에 불과하다.