[논문 리뷰] Stealing Neural Networks via Timing Side Channels

Vasisht Duddu, Debasis Samanta외 2명|arXiv (Cornell University)|2018. 12. 31.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 89

한 줄 요약

본 논문은 실행 시간으로 신경망 깊이를 추론하는 블랙박스 타이밍 사이드 채널 공격을 제시하고, 이후 강화학습을 사용해 거의 목표 정확도에 근접한 대체 아키텍처를 탐색합니다. CIFAR-10에서 VGG 유사 모델로 시연했습니다.

ABSTRACT

Deep learning is gaining importance in many applications. However, Neural Networks face several security and privacy threats. This is particularly significant in the scenario where Cloud infrastructures deploy a service with Neural Network model at the back end. Here, an adversary can extract the Neural Network parameters, infer the regularization hyperparameter, identify if a data point was part of the training data, and generate effective transferable adversarial examples to evade classifiers. This paper shows how a Neural Network model is susceptible to timing side channel attack. In this paper, a black box Neural Network extraction attack is proposed by exploiting the timing side channels to infer the depth of the network. Although, constructing an equivalent architecture is a complex search problem, it is shown how Reinforcement Learning with knowledge distillation can effectively reduce the search space to infer a target model. The proposed approach has been tested with VGG architectures on CIFAR10 data set. It is observed that it is possible to reconstruct substitute models with test accuracy close to the target models and the proposed approach is scalable and independent of type of Neural Network architectures.

연구 동기 및 목표

• 서비스로 배포된 신경망이 모델 추출 위험에 노출되는 이유를 제시한다.
• 실행 시간이 네트워크 깊이와 상관관계가 있음을 보여주어 블랙박스 설정에서 깊이 추론이 가능함을 입증한다.
• 두 단계 공격을 제안한다: 회귀기를 이용해 깊이를 추정한 뒤, RL 기반 신경망 구조 검색을 통해 근접한 대체 모델을 재구성한다.
• 대체 모델이 CIFAR-10에서 VGG 유사 타깃을 사용해 목표와의 작은 차이 이내의 테스트 정확도를 달성할 수 있음을 보인다.

제안 방법

• 신경망의 총 실행 시간이 깊이 및 여러 다른 하이퍼파라미터의 함수를 이룬다는 것을 다양한 아키텍처에서 보인다.
• 고정된 하드웨어에서 많은 네트워크의 타이밍 데이터를 수집해 시간과 깊이를 매핑하는 회귀기를 학습한다.
• 관측된 시간으로 대상 깊이를 예측하기 위해 회귀기(RF/BDT가 선형 모델보다 우수)를 사용한다.
• 추정된 깊이로 아키텍처 검색 범위를 제한하고, 증류를 포함한 RL 기반 신경망 구조 탐색을 적용해 대체 정확도를 높인다.
• 타깃으로부터의 지식 증류를 통해 대체 모델을 학습시켜 타깃의 출력을 흉내낸다.
• 최종 대체 모델이 타깃에 거의 근접한 테스트 정확도(약 ~5% 이내)를 달성함을 시연한다.

실험 결과

연구 질문

• RQ1 블랙박스 공격자가 타깃 신경망의 깊이(층 수)를 타이밍 사이드 채널을 사용해 신뢰성 있게 추론할 수 있는가?
• RQ2 추정된 깊이에 제한된 RL 기반 아키텍처 탐색이 타깃에 근접한 테스트 정확도를 가진 대체 모델을 생성할 수 있는가?
• RQ3 타이밍 데이터로 깊이를 추론하기 위한 다양한 회귀 모델의 효과는 무엇인가?
• RQ4 일반적인 CNN 아키텍처(VGG 유사, ResNet)와 데이터(CIFAR-10)에서 이 공격이 확장 가능한가?

주요 결과

• 타이밍 사이드 채널은 네트워크 깊이가 총 실행 시간과 상관관계가 있음을 보여준다.
• 타이밍 데이터로 학습된 회귀 모델이 타깃 깊이를 추론할 수 있으며, 앙상블 회귀(RF, Boosted DT)가 선형 모델보다 우수하다.
• 깊이 제약 공간 내의 RL 기반 아키텍처 탐색이 CIFAR-10에서 타깃의 5% 이내의 테스트 정확도를 가진 대체 모델을 생성할 수 있다.
• 공격은 깊이를 추론하기 위해 일정한 수의 질의를 사용하므로 블랙박스 MLaaS 환경에서 효율적이다.
• 지식 증류를 사용해 타깃 예측을 모방하도록 대체 모델을 학습시켜 모델 간 유사성을 높인다.
• VGG 유사 타깃에 대한 실험은 재구성된 모델이 타깃 성능에 근접함을 보여준다.