[논문 리뷰] Practical No-box Adversarial Attacks against DNNs

Qizhang Li, Yiwen Guo외 1명|arXiv (Cornell University)|2020. 12. 04.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 공격자가 타겟 모델의 아키텍처, 파라미터, 훈련 데이터 또는 쿼리 인터페이스에 접근할 수 없는 실용적인 박스 외 공격을 제안한다. 대신 공격자는 동일 도메인의 10~20개의 레이블이 없는 예제만을 사용하여 원형 오토인코더를 훈련시키며, 이는 매우 높은 이식성(transferability)을 가진 적대적 예제를 생성한다. 이로 인해 상용의 유명인 인식 시스템의 정확도가 15.40%로 떨어지며, 사전 훈련된 모델을 사용한 공격와 동등한 성능을 달성한다.

ABSTRACT

The study of adversarial vulnerabilities of deep neural networks (DNNs) has progressed rapidly. Existing attacks require either internal access (to the architecture, parameters, or training set of the victim model) or external access (to query the model). However, both the access may be infeasible or expensive in many scenarios. We investigate no-box adversarial examples, where the attacker can neither access the model information or the training set nor query the model. Instead, the attacker can only gather a small number of examples from the same problem domain as that of the victim model. Such a stronger threat model greatly expands the applicability of adversarial attacks. We propose three mechanisms for training with a very small dataset (on the order of tens of examples) and find that prototypical reconstruction is the most effective. Our experiments show that adversarial examples crafted on prototypical auto-encoding models transfer well to a variety of image classification and face verification models. On a commercial celebrity recognition system held by clarifai.com, our approach significantly diminishes the average prediction accuracy of the system to only 15.40%, which is on par with the attack that transfers adversarial examples from a pre-trained Arcface model.

연구 동기 및 목표

• 쿼리, 모델 접근, 훈련 데이터 접근이 전혀 없는 강력한 위협 모델 하에서의 적대적 공격에 대한 격차를 메우기 위해.
• 모델이나 데이터에 접근할 수 없고, 극히 제한된 데이터(예: 10~20장의 이미지)에서 효과적인 적대적 예제를 생성할 수 있는지 조사하기 위해.
• 이러한 데이터 부족, 박스 외 조건에서 대체 모델을 위한 훈련 기법을 개발하고 평가하기 위해.
• 이러한 최소 데이터 기반 모델에서 생성된 적대적 예제가 실제 DNN, 특히 상용 시스템으로의 이식성(transferability)을 입증하기 위해.

제안 방법

• 타겟 모델의 아키텍처, 파라미터, 훈련 데이터에 접근하지 않고도, 동일 도메인의 10~20장의 이미지만을 사용하여 원형 오토인코더를 훈련한다.
• 세 가지 기법을 탐색: 회전된 이미지에서의 시야 예측, 조각 맞추기 퍼즐 복원, 원형 이미지 생성이며, 후자가 가장 효과적임을 확인한다.
• 훈련된 오토인코더를 사용해 대체 모델에 대해 기울기 기반 공격(PGD 등)을 수행하여 적대적 예제를 생성한다.
• 이러한 적대적 예제를 다양한 타겟 모델(예: ImageNet 분류기, 얼굴 인식 시스템)에 적용하여 이식성(transferability)을 평가한다.
• 특징 구분력과 공격 이식성을 향상시키기 위해 원형 디코더의 수(1~20개)를 최적화한다.
• 적대적 훈련된 모델을 대상으로 테스트하여 강건성을 검증하며, 표준 적대적 훈련이 박스 외 공격에 대해 완전히 방어하지 못하는 것으로 드러난다.

실험 결과

연구 질문

• RQ1 공격자가 타겟 모델의 아키텍처, 파라미터, 훈련 데이터, 쿼리 인터페이스에 접근할 수 없을 때 효과적인 적대적 예제를 생성할 수 있는가?
• RQ2 10~20장의 이미지로만 훈련된 적대적 예제가 이미지 분류 및 얼굴 인식 분야의 다양한, 알려지지 않은 DNN에 얼마나 잘 이식되는가?
• RQ3 세 가지 제안된 훈련 기법 중에서 — 시야 예측, 조각 맞추기 복원, 원형 이미지 생성 — 어떤 것이 데이터 부족 조건에서 가장 높은 이식성을 가진 적대적 예제를 생성하는가?
• RQ4 오토인코더 아키텍처에서 원형 디코더의 수가 공격 성능과 이식성에 유의미한 영향을 미치는가?
• RQ5 표준 적대적 훈련 방어 기법은 최소 데이터에서 생성된 박스 외 적대적 공격에 여전히 효과적인가?

주요 결과

• 제안된 박스 외 공격은 상용 유명인 인식 시스템(Clarifai.com)의 예측 정확도를 100.00%에서 15.40%로 낮춰 실제 적용에서 매우 높은 효과를 입증했다.
• 단지 10장의 얼굴 이미지만으로도 Clarifai 시스템에서 15.40%의 공격 성공률를 달성했으며, 사전 훈련된 ArcFace 모델을 사용한 공격와 동등한 성능을 보였다.
• 원형 복원 기법이 시야 예측 및 조각 맞추기 복원보다 우수했으며, 다양한 타겟 모델에서 가장 높은 이식성을 확보했다.
• 더 많은 훈련 데이터를 사용할수록 공격 성능이 향상되었지만, 단지 2장의 이미지로도 공격가능성이 유지되어 극도로 제한된 데이터 조건에서도 실현 가능함을 보였다.
• 적대적 훈련된 ResNet 모델 역시 여전히 취약했으며, 박스 외 공격에서 39.24%의 정확도를 기록했고, 기준선(54.12%)보다 높은 성능를 보이며 표준 방어 기법이 충분하지 않음을 시사했다.