[논문 리뷰] Programmable Neural Network Trojan for Pre-Trained Feature Extractor

Yu Ji, Zinxin Liu외 3명|arXiv (Cornell University)|2019. 01. 23.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 16

한 줄 요약

이 논문은 전이 학습에서 사용되는 사전 훈련된 모델에 대해 어떤 대상 이미지도 기반으로 동적으로 트리거를 생성할 수 있는 프로그래머블 신경망 트로이 악성코드를 제안한다. 이는 도용된 모델에 대해 도청적이고 높은 성공률을 보이는 뒷통수 공격을 가능하게 하며, 미세조정 이후에도 효과를 유지한다. 상위 5개 예측에서 최대 75.87%의 공격 성공률과 전이 학습 시나리오에서 38.15%의 성공률을 기록하며 통계 분석 및 모델 재훈련을 통한 탐지에서 회피한다.

ABSTRACT

Neural network (NN) trojaning attack is an emerging and important attack model that can broadly damage the system deployed with NN models. Existing studies have explored the outsourced training attack scenario and transfer learning attack scenario in some small datasets for specific domains, with limited numbers of fixed target classes. In this paper, we propose a more powerful trojaning attack method for both outsourced training attack and transfer learning attack, which outperforms existing studies in the capability, generality, and stealthiness. First, The attack is programmable that the malicious misclassification target is not fixed and can be generated on demand even after the victim's deployment. Second, our trojan attack is not limited in a small domain; one trojaned model on a large-scale dataset can affect applications of different domains that reuse its general features. Thirdly, our trojan design is hard to be detected or eliminated even if the victims fine-tune the whole model.

연구 동기 및 목표

• 실제 배포 환경에서 백도ored 사전 훈련된 신경망이 초래하는 심각한 보안 위협을 해결한다.
• 이전의 트로이 악성코드 공격이 고정된 소규모 대상 클래스 집합이나 특정 도메인에 국한되어 있던 한계를 극복한다.
• 피해자 모델의 미세조정 이후에도 탐지되지 않고 지속되는 트로이 악성코드 메커니즘을 개발한다.
• 배포 후에도 원하는 클래스 레이블에 대해 즉시 프로그래밍 가능한 대상 생성을 가능하게 한다.
• 대규모 모델(예: ImageNet 사전 훈련된 네트워크)을 사용한 일반적인 전이 학습 환경에서 트로이 악성코드 공격의 타당성과 효과성을 입증한다.

제안 방법

• 대상 이미지에서 트리거 패턴을 합성할 수 있도록 생성자 신경망을 훈련시켜 동적이고 융통성 있는 트리거 생성을 가능하게 한다.
• 엔드 투 엔드 훈련 파이프라인에 생성자를 사전 훈련된 특징 추출기(예: VGG16, ResNet)와 통합하여 컨볼루션 계층에 트로이 악성코드를 내장한다.
• 생성된 트리거가 포함된 입력이 대상 클래스로 잘못 분류되도록 생성자와 특징 추출기를 함께 최적화하는 연속 최적화 과정을 사용한다.
• 훈련 중 공간적 위치를 무작위로 변형시켜 트리거의 강건성을 높여 입력 변형에 대한 일반화 능력을 향상시킨다.
• 대규모 사전 훈련된 모델의 부여된 레이어를 활용해 청소년 정확도를 떨어뜨리지 않고 트로이 악성코드를 내장한다.
• 표준 방어 기법(예: 미세조정, 하이퍼파rameter 튜닝)을 적용하여 트로이 악성코드의 내구성을 평가하고 실제 세계의 억제 시도를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 피해자의 모델 클래스 집합을 모를 경우에도, 배포 시점에 어떤 대상 클래스에 대해 트로이 악성코드를 동적으로 생성할 수 있는가?
• RQ2 피해자가 자체 데이터셋으로 모델을 미세조정한 후에도 트로이 악성코드가 얼마나 효과적이고 탐지되지 않을 수 있는가?
• RQ3 통계적 탐지 방법을 포함한 상황에서, 제안된 프로그래머블 트로이 악성코드는 기존 방법 대비 얼마나 높은 은폐성(stealthiness)을 보이는가?
• RQ4 일반적인 특징 추출기(예: ImageNet 모델)에 트로이 악성코드를 내장해도 다양한 후속 작업에서 정상적으로 작동하는가?
• RQ5 미세조정과 같은 표준 방어 전략을 적용할 경우, 모델 정확도와 트로이 악성코드 지속성 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 트로이 악성코드는 외부 훈련 시나리오에서 VGG16에서 상위 1위 공격 성공률 50.27%와 상위 5위 공격 성공률 75.87%를 기록하며, 모델의 자연적 정확도에 근접한다.
• 꽃 분류 데이터셋을 사용한 전이 학습 설정에서, 트로이 악성코드가 내장된 모델은 청소년 입력에서 91.56%의 정확도(정상 모델 대비 91.70%)를 유지하며, 공격 성공률은 38.15%였다.
• 통계적 탐지 방법은 트로이 악성코드를 탐지하지 못한다. 가중치 및 활성화 분포가 원본 모델과 구분되지 않기 때문이다.
• 학습률 $10^{-3}$로 엔드 투 엔드 미세조정을 적용한 후에도 트로이 악성코드는 공격 성공률 17–29%로 지속되며, 피해자 입장에선 여전히 효과적인 수준이다.
• 더 큰 학습률을 사용할 경우 트로이 악성코드는 제거되지만 모델 정확도가 크게 떨어지므로, 방어와 성능 사이의 상충 관계가 드러난다.
• 다양한 하이퍼파rameter 설정에서도 트로이 악성코드가 내구성이 있어, 하이퍼파rameter 튜닝을 통한 방어는 신뢰할 수 없다는 점을 입증한다.