[논문 리뷰] A Target-Agnostic Attack on Deep Models: Exploiting Security Vulnerabilities of Transfer Learning

Shahbaz Rezaei, Xin Liu|arXiv (Cornell University)|2019. 04. 08.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 35

한 줄 요약

요약: 이 논문은 공개적으로 이용 가능한 사전 학습 모델만을 사용하여 전이 학습 모델에서 특정 대상 클래스를 트리거하도록 입력을 구성하는 대상 비의존적 무차별 공격을 제시하고, 이러한 설정에서 소프트맥스의 취약점을 드러낸다.

ABSTRACT

Due to insufficient training data and the high computational cost to train a deep neural network from scratch, transfer learning has been extensively used in many deep-neural-network-based applications. A commonly used transfer learning approach involves taking a part of a pre-trained model, adding a few layers at the end, and re-training the new layers with a small dataset. This approach, while efficient and widely used, imposes a security vulnerability because the pre-trained model used in transfer learning is usually publicly available, including to potential attackers. In this paper, we show that without any additional knowledge other than the pre-trained model, an attacker can launch an effective and efficient brute force attack that can craft instances of input to trigger each target class with high confidence. We assume that the attacker has no access to any target-specific information, including samples from target classes, re-trained model, and probabilities assigned by Softmax to each class, and thus making the attack target-agnostic. These assumptions render all previous attack models inapplicable, to the best of our knowledge. To evaluate the proposed attack, we perform a set of experiments on face recognition and speech recognition tasks and show the effectiveness of the attack. Our work reveals a fundamental security weakness of the Softmax layer when used in transfer learning settings.

연구 동기 및 목표

• 공개적으로 이용 가능한 사전 학습 모델만을 사용하여 전이 학습 기반 시스템에 대한 대상 비의존적 공격을 입증한다.
• Softmax 취약점이 대상 클래스 샘플 없이도 높은 신뢰도 오분류를 가능하게 하는지 보여준다.
• 얼굴 인식 및 음성 인식 작업에서 공격 효과를 평가한다.
• open-set/전이 학습 맥락에서 Softmax 기반 분류기의 방어 고려사항과 한계를 논의한다.

제안 방법

• 특징 추출기 출력에서 개별 뉴런을 반복적으로 활성화시켜 적대적 이미지를 구성한다.
• 음의 활성화를 무시하기 위해 relu를 사용한 수정된 MSE로 다른 뉴런을 억제하면서 단일 활성화 뉴런을 강조하는 대상 손실 L을 정의한다.
• 그룹의 M 뉴런(활성화 벡터 구성 요소)에 대해 브루트 포스 탐색을 수행하여 그래디언트를 이용한 입력 공간의 반복적 업데이트로 적대적 입력을 생성한다.
• 작은 재학습 데이터셋과 고정된 특징 추출기를 사용하고 최종 분류기만 재학습하여 전이 학습 시나리오를 시뮬레이션한다.
• 임계값 기반 모델과 거부/미지의 클래스가 추가된 모델 간의 공격 성능을 비교한다.
• 얼굴 인식(VGG-face) 및 음성 인식 설정에 대해 NABAC와 95%/99% 신뢰도에서의 효과를 정량화하여 평가한다.

실험 결과

연구 질문

• RQ1 공개된 전이 학습 기반 모델의 동일한 사전 학습 특징 추출기를 공유하는 재학습된 모든 모델을 대상 클래스 샘플이나 재학습된 모델에 접근하지 않고도 일반화된 적대 입력으로 속일 수 있는 공격자를 만들 수 있는가?
• RQ2 Softmax는 대상 비의존적 공격에 얼마나 취약하며, 거부 클래스나 열린 집합 분류기와 같은 방어 하에서도 이러한 취약점이 지속될 수 있는가?
• RQ3 얼굴 및 음성 인식 작업에서 이러한 공격의 실제적 효과성과 질의 효율성은 어떠한가?
• RQ4 공격을 완화할 수 있는 방어 전략(예: 분포 인식 분류기인 EVM)에는 어떤 Trade-off가 있으며 어떤 제약이 있는가?

주요 결과

• 공격은 대상 클래스에 대해 재학습된 모델이 공유하는 동일한 사전 학습 모델만으로도 대상별 데이터 없이도 높은 신뢰도의 적대 입력을 생성할 수 있다.
• 활성화 벡터 뉴런에 대한 단일 브루트 포스 패스만으로도 동일한 사전 학습 모델을 공유하는 재학습 모델 전반에서 대상 클래스를 트리거하는 데 일반적으로 충분하다.
• 임계값 기반 방어나 거부 클래스 방어는 실용적 설정에서 공격을 완전히 완화하지 못하며 여전히 높은 효과가 관찰된다.
• 재학습층을 더 많이 추가하거나 더 깊은 새로운 분류기를 사용하면 공격 효과가 감소하는 경향이 있지만, 특히 사전 학습 특징 추출기가 유사한 경우 대상 비의존적 특성은 남아 있다.
• Open-set/분포 인식 분류기(EVM) 등은 공격 성공률을 낮추지만 전체 정확도와 강건성에서 Trade-off를 유발한다.
• 블랙박스 Zoo 공격과 비교할 때 제안된 방법은 필요한 질의 수가 훨씬 적고(대개 학생 모델에 한 번의 질의), 동일한 전이 학습 가정에서 더 높은 효율성을 보인다.