[논문 리뷰] Regula Sub-rosa: Latent Backdoor Attacks on Deep Neural Networks

Yuanshun Yao, Huiying Li외 2명|arXiv (Cornell University)|2019. 05. 24.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 7

한 줄 요약

이 논문은 VGG16와 같은 사전 훈련된 '강사' 모델에 숨겨진 백도어를 통합하는 새로운 방법인 잠재 백도어 공격을 소개한다. 이 공격은 새로운 타겟 클래스(예: 엘론 머스크)를 추가하는 전이 학습 과정에서만 활성화되며, 감지되지 않는다. 이 공격은 강사 모델에서 파생된 모든 학생 모델로 퍼져나가며, 실제 얼굴 인식, 교통 표지, 망막 인식 작업에서 높은 성공률을 기록한다. 오직 다층 미세조정이라는 한 가지 방어 수단만 효과가 있었으며, 이는 정확도를 떨어뜨리는 비용을 수반한다.

ABSTRACT

Recent work has proposed the concept of backdoor attacks on deep neural networks (DNNs), where misbehaviors are hidden inside "normal" models, only to be triggered by very specific inputs. In practice, however, these attacks are difficult to perform and highly constrained by sharing of models through transfer learning. Adversaries have a small window during which they must compromise the student model before it is deployed. In this paper, we describe a significantly more powerful variant of the backdoor attack, latent backdoors, where hidden rules can be embedded in a single "Teacher" model, and automatically inherited by all "Student" models through the transfer learning process. We show that latent backdoors can be quite effective in a variety of application contexts, and validate its practicality through real-world attacks against traffic sign recognition, iris identification of lab volunteers, and facial recognition of public figures (politicians). Finally, we evaluate 4 potential defenses, and find that only one is effective in disrupting latent backdoors, but might incur a cost in classification accuracy as tradeoff.

연구 동기 및 목표

• 보안이 중요한 응용 분야에서 딥 신경망(DNN)의 백도어 공격 위험 증가 문제를 다루기 위해.
• 전이 학습에서의 주요 취약점을 규명하기 위해, 공유된 강사 모델에 백도어를 삽입하고 미세조정 과정을 거쳐도 생존할 수 있음을 밝히기 위해.
• 이 새로운 공격 벡터에 대해 기존의 백도어 탐지 방법이 실패하는 이유를 설명하기 위해, 그 침투성과 잠재적 성격 때문이기 때문이다.
• 방어 조치를 평가하고, 모델의 유용성에 영향을 주지 않으면서도 잠재 백도어를 효과적으로 차단할 수 있는 방어 수단을 식별하기 위해.

제안 방법

• 표준 정확도에 영향을 주지 않는 철저히 설계된 손실 함수를 사용하여, 존재하지 않는 출력 클래스(예: '엘론 머스크')에 잠재 트리거를 삽입함으로써 사전 훈련된 강사 모델(예: VGG16)에 잠재 트리거를 통합한다.
• 전이 학습 파이프라인의 특성을 활용: 학생 모델이 타겟 클래스(예: 머스크)를 인식하도록 미세조정될 때, 잠재 트리거가 활성화되어 트리거 패턴과 일치하는 입력을 잘못 분류한다.
• 트리거 패턴을 눈에 띄지 않게 하고, 타겟 클래스와 독립적으로 만들며, 강사 모델 평가 시 감지되지 않도록 보장한다.
• 트리거가 강사 모델의 기존 클래스와 연결되어 있지 않기 때문에, 표준 입력 기반 테스트에서는 보이지 않게 된다는 사실을 활용한다.
• 실제 물리적 데이터를 사용한 실세계 평가를 수행: 실제 교통 표지 사진, 스마트폰으로 촬영한 망막 영상, 구글 이미지에서 확보한 유명 인물의 이미지.
• 네 가지 방어 수단 평가: 입력 이상 탐지, 재훈련, 입력 전처리, 다층 미세조정; 유일하게 효과적인 수단을 식별한다.

실험 결과

연구 질문

• RQ1 공유된 강사 모델에 백도어를 삽입하는 방식으로, 감지되지 않고 전이 학습 과정을 거쳐도 생존하는 공격이 가능한가?
• RQ2 실세계 응용 분야인 얼굴 인식, 교통 표지 검출, 망막 인식에서 잠재 백도어는 얼마나 효과적인가?
• RQ3 기존의 백도어 탐지 방법이 잠재 백도어 공격에 효과가 없는 이유는 무엇인가?
• RQ4 어떤 방어 수단이 잠재 백도어를 효과적으로 차단할 수 있으며, 이는 모델 정확도에 어떤 상충 관계를 초래하는가?

주요 결과

• 잠재 백도어 공격는 정치인들의 공개 이미지를 사용한 실세계 얼굴 인식 작업에서 90% 이상의 높은 성공률을 기록한다.
• 실제 교통 표지의 물리적 사진을 사용한 교통 표지 인식에서 공격가능성이 입증되었으며, 실세계 조건 하에서도 실현 가능성을 보였다.
• 스마트폰으로 촬영한 이미지를 사용한 망막 인식 공격는 85% 이상의 성공률을 기록했으며, 저해상도 입력 데이터에서도 효과가 있음을 보였다.
• 오직 전이 학습 중 다층 미세조정만이 잠재 백도어를 효과적으로 차단했지만, 이는 깨끗한 입력에 대한 분류 정확도에 명백한 감소를 초래했다.
• 입력 이상 탐지, 재훈련, 입력 전처리와 같은 기존의 방어 수단들은 그 침투성과 잠재적 성격 때문에 잠재 백도어를 탐지하거나 차단하지 못했다.
• 강사 모델에서 트리거가 기존 출력 클래스와 연관되어 있지 않기 때문에, 공격는 감지되지 않으며, 표준 테스트에서는 보이지 않는다.