[논문 리뷰] BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain

Tianyu Gu, Brendan Dolan-Gavitt외 1명|arXiv (Cornell University)|2017. 08. 22.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 1,002

한 줄 요약

논문은 백도어가 있는 신경망이 외주 학습 또는 전이 학습을 통해 높은 일반 정확도를 유지하면서도 백도어 트리거가 있을 때 공격자가 선택한 오분류를 유발할 수 있도록 학습될 수 있음을 보여준다. MNIST와 교통 표지 인식에 대한 사례 연구를 제시하고 방어책과 안전한 외주 학습의 필요성에 대해 논의한다.

ABSTRACT

Deep learning-based techniques have achieved state-of-the-art performance on a wide variety of recognition and classification tasks. However, these networks are typically computationally expensive to train, requiring weeks of computation on many GPUs; as a result, many users outsource the training procedure to the cloud or rely on pre-trained models that are then fine-tuned for a specific task. In this paper we show that outsourced training introduces new security risks: an adversary can create a maliciously trained network (a backdoored neural network, or a \emph{BadNet}) that has state-of-the-art performance on the user's training and validation samples, but behaves badly on specific attacker-chosen inputs. We first explore the properties of BadNets in a toy example, by creating a backdoored handwritten digit classifier. Next, we demonstrate backdoors in a more realistic scenario by creating a U.S. street sign classifier that identifies stop signs as speed limits when a special sticker is added to the stop sign; we then show in addition that the backdoor in our US street sign detector can persist even if the network is later retrained for another task and cause a drop in accuracy of {25}\% on average when the backdoor trigger is present. These results demonstrate that backdoors in neural networks are both powerful and---because the behavior of neural networks is difficult to explicate---stealthy. This work provides motivation for further research into techniques for verifying and inspecting neural networks, just as we have developed tools for verifying and debugging software.

연구 동기 및 목표

• 외주 ML 학습 및 전이 학습에서 백도어 신경망의 위협을 동기 부여하고 형식화한다.
• MNIST 숫자 인식 및 교통 표지 인식에서 실용적인 백도어 공격을 입증한다.
• 클린 입력과 백도어 입력에 대한 영향 및 전이 학습에서의 지속성 등 공격 속성을 특징짓는다.
• 신경망의 안정한 조달 및 검증에 대한 시사점을 조사한다.
• 외주 학습 및 사전 학습 모델 보안을 위한 통찰과 권고안을 제공한다.

제안 방법

• 외주 학습 및 전이 학습에 대한 위협 모델 정의.
• 사전 지정된 아키텍처에 백도어를 주입하기 위한 학습 세트 독성(poisoning)을 구현.
• MNIST 및 교통 표지 데이터 세트에서 클린 및 백도어 입력에 대한 백도어 모델 평가.
• 백도어 표현을 이해하기 위해 학습된 필터를 시각화.
• 전이 학습 시나리오에서 백도어 지속성 평가.

실험 결과

연구 질문

• RQ1 공격자가 클린 데이터의 검증 정확도를 떨어뜨리지 않고 신경망에 백도어를 심을 수 있는가?
• RQ2 공격자가 선택한 트리거를 포함하는 입력을 백도어 모델이 얼마나 효과적으로 오분류할 수 있는가?
• RQ3 전이 학습으로 다른 작업에 재학습될 때 백도어는 지속되는가?
• RQ4 학습된 필터에서 백도어 표현은 어떻게 보이며 백도어가 교통 표지 인식기와 같은 실제 비전 시스템에 어떤 영향을 미치는가?

주요 결과

• 백도어가 삽입된 MNIST 분류기는 거의 기준선 수준의 클린 성능을 달성하면서 백도어 입력에 대해 매우 낮은 오차로 오분류를 수행한다(예: 백도어 입력 오차 ≤ 0.09%).
• 모두-모두(all-to-all) MNIST 공격에서 BadNet은 백도어 이미지에 대해 99% 이상 오분류를 달성할 뿐, 클린 이미지 오차는 약간만 증가한다(평균 클린 오차 ≈ 0.48% vs. 기준선 ≈ 0.50%).
• 백도어가 있는 교통 표지 탐지기(Faster-RCNN)는 백도어 스톱 사인을 속도 제한으로 오분류하는 성공률이 90% 이상인 반면, 클린 이미지 정확도는 기준선 모델과 비슷한 수준(평균 클린 정확도 약 89–90%)을 유지한다.
• 전이 학습 하에서도 백도어는 지속된다. 예를 들어 미국 표지판 분류기가 스웨디시 표지판으로 재학습될 때 백도어 트리거가 있을 경우 평균 성능 저하가 약 25%에 이른다.
• 간단한 검증으로 백도어 탐지 가능성이 낮으며, 도메인 간에 백도어 트리거 검출기가 다르게 인코딩되는 경향이 있다(예: MNIST의 전용 필터, 교통 표지의 경우 더 분산된 백도어 표현).
• 저자들은 공급망 위험을 완화하기 위한 사전 학습 모델의 확보 및 사용에 대한 보안 고려사항과 권고안을 제시한다.