[논문 리뷰] The TrojAI Software Framework: An OpenSource tool for Embedding Trojans into Deep Learning Models

Kiran Karra, Chace Ashcraft외 1명|arXiv (Cornell University)|2020. 03. 13.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 20

한 줄 요약

TrojAI 소프트웨어 프레임워크는 사용자 정의 가능한 트리거로 데이터셋을 오염시켜 스케일링 가능하고 재현 가능한 트로이안 딥 러닝 모델을 생성할 수 있는 오픈소스 파이썬 툴킷이다. 이 프레임워크는 MNIST 분류기와 강화학습 에이전트에 효과적인 트로이안 임베딩을 보여주며, 트리거 유형, 배치 크기, 오염 비율이 성공에 중대한 영향을 미친다는 것을 입증한다. Neural Cleanse는 오직 18%의 경우에만 이상 징후를 탐지한다.

ABSTRACT

In this paper, we introduce the TrojAI software framework, an open source set of Python tools capable of generating triggered (poisoned) datasets and associated deep learning (DL) models with trojans at scale. We utilize the developed framework to generate a large set of trojaned MNIST classifiers, as well as demonstrate the capability to produce a trojaned reinforcement-learning model using vector observations. Results on MNIST show that the nature of the trigger, training batch size, and dataset poisoning percentage all affect successful embedding of trojans. We test Neural Cleanse against the trojaned MNIST models and successfully detect anomalies in the trained models approximately $18\%$ of the time. Our experiments and workflow indicate that the TrojAI software framework will enable researchers to easily understand the effects of various configurations of the dataset and training hyperparameters on the generated trojaned deep learning model, and can be used to rapidly and comprehensively test new trojan detection methods.

연구 동기 및 목표

• 트로이안 공격 연구의 표준화 및 재현 가능성 부족 문제를 해결하기 위해, 오염된 데이터셋과 트로이안 모델을 생성하기 위한 통합적이고 구성 가능한 프레임워크를 제공한다.
• 트리거 설계, 오염 비율, 학습 초모수가 트로이안 임베딩 성공률과 탐지 가능성에 미치는 영향을 체계적으로 연구할 수 있도록 한다.
• 다양한 데이터 모odal리티와 모델 아키텍처를 대상으로 새로운 트로이안 탐지 및 완화 기법의 빠른 평가 및 벤치마킹을 지원한다.
• 이미지 분류를 넘어서 벡터 관측 환경을 갖춘 강화학습까지 재현 가능한 트로이안 공격 연구를 확장한다.
• 더 스텔스러운 트로이안 임베딩 방법과 더 넓은 데이터 모달리티 지원(예: 오디오, 객체 검출)을 위한 향후 연구를 촉진한다.

제안 방법

• 프레임워크는 사용자 정의 트리거로 오염된 데이터셋을 생성하는 datagen과 이러한 데이터셋에서 딥 러닝 모델을 훈련하는 modelgen이라는 두 가지 핵심 서브모듈로 구성되어 있다.
• 사용자 정의 가능한 트리거 유형(예: 정적, 동적, 회전), 배치 전략, 입력 데이터 전역 오염 비율을 지원한다.
• 강화학습의 경우, OpenAI Gym 환경과 통합되어 학습 도중 벡터 기반 관측치에 트리거를 삽입할 수 있다.
• 다양한 초모수(예: 배치 크기, 에포크 수)를 가진 여러 모델을 배치로 훈련시켜 강건성과 수확률을 평가할 수 있다.
• 표준 메트릭(예: 정상 데이터와 트리거가 삽입된 데이터에서의 정확도, RL 과제에서의 누적 보상)을 통한 평가를 지원한다.
• Neural Cleanse는 다양한 구성에서 트로이안 모델의 탐지 가능성 평가를 위한 탐지 기준으로 사용된다.

실험 결과

연구 질문

• RQ1 정적 트리거 대비 동적 트리거의 유형과 배치 방식이 MNIST 분류기에서 트로이안 임베딩 성공률에 어떤 영향을 미치는가?
• RQ2 데이터셋 오염 비율과 배치 크기가 트로이안 모델의 수확률과 강건성에 어떤 영향을 미치는가?
• RQ3 TrojAI 프레임워크는 벡터 관측치를 사용하여 기능적인 트로이안 강화학습 에이전트를 효과적으로 생성할 수 있는가?
• RQ4 Neural Cleanse 탐지 방법은 다양한 트로이안 구성에서 이상 징후 탐지율 측면에서 얼마나 잘 작동하는가?
• RQ5 일부 트리거나 구성에서의 결과가 탐지 가능성과 모델 성능 측면에서 다른 트리거나 구성으로 일반화되는 정도는 어느 정도인가?

주요 결과

• TrojAI 프레임워크는 높은 정상 정확도(>95%)와 트리거가 삽입된 입력에서의 타겟된 오분류를 보여주며, 효과적이고 스케일링 가능한 트로이안 주입을 성공적으로 수행하였다.
• 모델 수확률과 탐지 성능는 트리거 유형과 구성에 따라 크게 달라졌으며, 동적 트리거는 정적 트리거에 비해 Neural Cleanse에 의한 탐지율이 낮았다.
• 배치 크기가 학습 수렴에 미치는 영향가 측정 가능했으며, 더 큰 배치(64)는 평균적으로 더 적은 에포크(17.9±2.9)가 필요했고, 더 작은 배치(16)는 평균 14.1±2.4 에포크가 소요되었다.
• Neural Cleanse는 모든 구성에서 약 18%의 성공률로 트로이안 모델을 탐지하여 탐지 성능의 일반화가 제한적임을 시사했다.
• 강화학습 환경에서 Boxing 에이전트는 정상 환경에서는 높은 성능(52.22 평균 보상)을 유지했고, 오염된 환경에서는 낮은 성능(-62.69)을 보여, 성공적인 트로이안 주입을 확인했다.
• 프레임워크의 모듈식 설계 덕분에 다양한 데이터 모달리티, 초모수, 모델 아키텍처 간 일관되고 재현 가능한 실험을 수행할 수 있었으며, 대규모 벤치마킹을 지원한다.