[논문 리뷰] Backdooring Convolutional Neural Networks via Targeted Weight Perturbations

Jacob Dumford, Walter J. Scheirer|arXiv (Cornell University)|2018. 12. 07.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

이 논문은 사전 훈련된 합성곱 신경망(CNN)에 대해 표적화된 백도어 공격을 제안하며, 네트워크 가중치를 수정하여 공격자가 특정 위조 입력을 정상 신원으로 잘못 확인하도록 유도한다. 이 방법은 타겟 클래스에 대해 최대 75%의 위양성률을 달성하면서도 비타겟 클래스에 대한 원래 정확도를 유지하므로, 성능 모니터링이나 파일 해시를 통한 감지가 매우 어렵다.

ABSTRACT

We present a new type of backdoor attack that exploits a vulnerability of convolutional neural networks (CNNs) that has been previously unstudied. In particular, we examine the application of facial recognition. Deep learning techniques are at the top of the game for facial recognition, which means they have now been implemented in many production-level systems. Alarmingly, unlike other commercial technologies such as operating systems and network devices, deep learning-based facial recognition algorithms are not presently designed with security requirements or audited for security vulnerabilities before deployment. Given how young the technology is and how abstract many of the internal workings of these algorithms are, neural network-based facial recognition systems are prime targets for security breaches. As more and more of our personal information begins to be guarded by facial recognition (e.g., the iPhone X), exploring the security vulnerabilities of these systems from a penetration testing standpoint is crucial. Along these lines, we describe a general methodology for backdooring CNNs via targeted weight perturbations. Using a five-layer CNN and ResNet-50 as case studies, we show that an attacker is able to significantly increase the chance that inputs they supply will be falsely accepted by a CNN while simultaneously preserving the error rates for legitimate enrolled classes.

연구 동기 및 목표

• 훈련 데이터나 입력을 수정하지 않고 모델 가중치를 수정하여 사전 훈련된 CNN에 백도어를 삽입할 수 있는지의 가능성을 조사하기 위해.
• 이러한 공격가가 훈련 데이터에 접근할 수 없더라도, 사전 훈련된 모델에만 접근할 수 있는 조건에서 배포 후에도 실행될 수 있음을 입증하기 위해.
• 정상 입력에 대해 높은 정확도를 유지하면서도 특정 타겟 클래스에 대해 위조 분류 비율을 크게 높일 수 있는지 평가하기 위해.
• 파일 해시와 같은 표준 무결성 검증 방법을 통해 이러한 백도어를 탐지하는 데 얼마나 어려운지 평가하기 위해.
• 이러한 취약성이 실생활 얼굴 인식 시스템과 딥 러닝 모델의 보안 전반에 미치는 영향을 탐색하기 위해.

제안 방법

• 공격는 특정 위조 입력을 타겟 신원으로 잘못 분류할 확률을 극대화하는 표적화된 가중치 변형을 계산하기 위해 최적화 절차를 사용한다.
• 훈련 데이터나 입력 처리 방식을 수정하지 않고, 사전 훈련된 CNN(예: 다섯 층의 CNN 또는 ResNet-50)의 학습된 가중치에 직접 변형을 적용한다.
• 최적화 과정은 모든 비타겟 입력에 대해 원래 정확도의 1.5% 이내로 유지되도록 제약 조건을 설정한다.
• 공격는 여러 모델 아키텍처와 위조자-타겟 쌍에 대해 평가되며, 타겟 클래스에서 위양성률 ≥40%일 경우 성공으로 간주한다.
• 표준 무결성 검사 시뮬레이션을 통해 탐지 저항성을 테스트한다. 이는 암호 해시와 확률적 모델 출력을 포함한다.
• 이 방법은 모델 가중치에 접근하기 위해 사전 시스템 해킹이 이루어져야 하며, 전통적 사이버보안에서의 루트킷 스타일 공격와 일관된다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 접근할 수 없이 네트워크 가중치만 수정하여 사전 훈련된 CNN에 백도어를 성공적으로 삽입할 수 있는가?
• RQ2 이 공격가가 정상 입력에 대한 원래 모델 정확도를 유지하면서도 특정 타겟 클래스에 대해 위양성률을 얼마나 높일 수 있는가?
• RQ3 파일 해시와 같은 표준 탐지 기법이 이러한 가중치 기반 백도어를 식별하는 데 얼마나 효과적인가?
• RQ4 모델 미세 조정 또는 확률적 추론 기법을 통해 공격를 회피하거나 완화할 수 있는가?
• RQ5 이 공격가가 배포된 얼굴 인식 시스템에 실질적인 영향을 미치는가?

주요 결과

• 제안된 공격는 타겟 위조자 입력에 대해 위양성률을 최대 75%까지 높였으며, 모든 다른 입력에 대해 원래 정확도를 1.5% 이내로 유지하였다.
• 시험된 반복의 15%에서 공격는 타겟 클래스에서 최소 40%의 위양성률을 달성하여 성공 기준을 충족하였다.
• 공격는 다섯 층의 CNN 및 ResNet-50를 포함한 여러 아키텍처에서 효과적이었으며, 광범위한 적용 가능성을 보였다.
• 파일 해시 기반 탐지는 가중치의 확률적 변형과 백도어 삽입 시 해시 충돌 공격의 가능성이 있어 신뢰성이 떨어졌다.
• 모델의 전체 정확도가 비타겟 입력에 대해 유지되므로 성능 모니터링을 통한 탐지가 불가능하다.
• 연구는 심지어 배포 후 감사가 이루어져도, 배포된 딥 러닝 모델이 배포 후 가중치 수정에 취약하다는 점을 드러냈다.