[논문 리뷰] Hu-Fu: Hardware and Software Collaborative Attack Framework against Neural Networks

Wenshuo Li, Jincheng Yu외 5명|arXiv (Cornell University)|2018. 05. 14.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 7

한 줄 요약

이 논문은 입력 이미지를 수정하지 않고 신경망에 백도어 트로이 목마를 임베딩하는 하드웨어-소프트웨어 협업 공격 프레임워크 Hu-Fu를 제안한다. 학습 중 하드웨어 트로이 목마와 소프트웨어 기반 트로이 무게 주입을 조합함으로써, CIFAR-10에서 92.6%의 공격 성공률과 YouTube Faces에서 100%의 성공률를 달성하면서도 정상 모드에서는 거의 원본 정확도를 유지한다.

ABSTRACT

Recently, Deep Learning (DL), especially Convolutional Neural Network (CNN), develops rapidly and is applied to many tasks, such as image classification, face recognition, image segmentation, and human detection. Due to its superior performance, DL-based models have a wide range of application in many areas, some of which are extremely safety-critical, e.g. intelligent surveillance and autonomous driving. Due to the latency and privacy problem of cloud computing, embedded accelerators are popular in these safety-critical areas. However, the robustness of the embedded DL system might be harmed by inserting hardware/software Trojans into the accelerator and the neural network model, since the accelerator and deploy tool (or neural network model) are usually provided by third-party companies. Fortunately, inserting hardware Trojans can only achieve inflexible attack, which means that hardware Trojans can easily break down the whole system or exchange two outputs, but can't make CNN recognize unknown pictures as targets. Though inserting software Trojans has more freedom of attack, it often requires tampering input images, which is not easy for attackers. So, in this paper, we propose a hardware-software collaborative attack framework to inject hidden neural network Trojans, which works as a back-door without requiring manipulating input images and is flexible for different scenarios. We test our attack framework for image classification and face recognition tasks, and get attack success rate of 92.6% and 100% on CIFAR10 and YouTube Faces, respectively, while keeping almost the same accuracy as the unattacked model in the normal mode. In addition, we show a specific attack scenario in which a face recognition system is attacked and gives a specific wrong answer.

연구 동기 및 목표

• 안전 임상 응용 분야에서 제3자 제공 임베디드 딥 러닝 가속기의 증가하는 보안 위험을 해결하기 위해.
• 입력 데이터 조작이 필요한 순수 소프트웨어 트로이 목마와 유연성이 떨어지는 순수 하드웨어 트로이 목마의 한계를 극복하기 위해.
• 정상 작동 중에는 탐지되지 않지만 타겟된 백도어 행동을 가능하게 하는 은밀한 공격 프레임워크를 개발하기 위해.
• 입력 데이터를 수정하지 않고도 작동할 수 있는 하드웨어-소프트웨어 공동 설계 트로이 목마의 실현 가능성을 입증하기 위해.
• 이미지 분류 및 얼굴 인식 작업에서의 실제 적용 가능성을 입증하기 위해.

제안 방법

• 추론 시 중간 특징 맵을 조작함으로써 백도어 행동을 유도하는 하드웨어 트로이 목마 회로를 설계한다.
• DSD를 영감으로 삼아, 전체 모델 정확도를 저하시키지 않으면서도 하위 네트워크에 트로이 무게를 주입하는 새로운 학습 절차를 도입한다.
• 입력 채널 또는 픽셀 수준의 병렬 처리를 활용하여 주 네트워크 성능을 유지하면서도 트로이 목마 기능을 가진 하위 네트워크를 고립 및 학습시킨다.
• 프루닝된 하위 네트워크에 악성 무게를 임베딩함으로써, 하드웨어 트로이 목마가 활성화될 경우에만 트로이 목마가 작동하도록 한다.
• 정밀한 프루닝 파rameter와 학습 스케줄 선택을 통해 정상 모드 정확도가 원본 모델과 거의 동일하게 유지되도록 보장한다.
• 추론 중 하드웨어 트로이 목마를 활성화함으로써 특징 맵을 트로이 하위 네트워크로 리디렉션하여 오분류를 유도한다.

실험 결과

연구 질문

• RQ1 입력 이미지를 수정하지 않고도 신경망에 은밀한 백도어 공격을 가능하게 하는 하드웨어-소프트웨어 협업 프레임워크는 가능한가?
• RQ2 정상 작동 중에는 탐지되지 않도록 하면서도 악성 행동을 유도할 수 있는 하드웨어 트로이 목마는 어떻게 설계할 수 있는가?
• RQ3 정상 모드에서 높은 정확도를 유지하면서도 하위 네트워크에 트로이 무게를 얼마나 많이 주입할 수 있는가?
• RQ4 픽셀 수준 병렬 처리와 입력 채널 병렬 처리와 같은 다양한 병렬 처리 전략 간의 성능 상충 관계는 어떠한가?
• RQ5 이 프레임워크는 얼굴 인식 및 이미지 분류와 같은 실제 응용 분야에서 높은 공격 성공률를 달성할 수 있는가?

주요 결과

• Hu-Fu 프레임워크는 입력 채널 병렬 처리를 사용할 경우 정상 모드 정확도가 91.61%로 거의 저하되지 않은 상태에서 CIFAR-10 데이터셋에서 92.6%의 공격 성공률를 달성한다.
• YouTube Faces 데이터셋에서는 레이블 교환 및 백도어 시나리오 모두에서 100%의 공격 성공률를 기록했으며, 정상 모드 정확도는 99.48%를 유지한다.
• 트로이 목마가 활성화된 모드에서 미지의 인물(안드레스 마누엘 로페스 오브라도르)을 프랭크 비머로 오분류하는 데 44.4%의 성공률를 기록했으며, 평균 신뢰도는 70%였다.
• 모든 구성에서 정상 모드 정확도가 원본 모델과 거의 구분되지 않으며, 0.1%에서 0.3% 이내의 감소만 관찰되었다.
• 입력 이미지가 수정되지 않으며, 트로이 목마는 하드웨어 트리거 신호에 의해만 활성화되기 때문에 정상 작동 중에는 탐지 불가능하다.
• 픽셀 수준 병렬 처리가 입력 채널 병렬 처리보다 더 우수한 성능을 보이며, 다양한 병렬 처리 전략에 대해 확장성과 효과성을 입증했다.