[논문 리뷰] Security Analysis of Deep Neural Networks Operating in the Presence of Cache Side-Channel Attacks

Sanghyun Hong, Michael Davinroy외 6명|arXiv (Cornell University)|2018. 10. 08.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 54

한 줄 요약

논문은 피해 DNN과 같은 호스트에 공동 배치된 캐시 사이드 채널 공격인 DeepRecon을 소개하며, 피해자의 아키텍처를 재구성하고 모델 계열을 지문화하는 방법을 제시하고, 단일 순전파로 VGG19와 ResNet50를 정확하게 복구함을 시연하며, 관측을 은폐하는 프레임워크 수준 방어로 디코이 TinyNets를 제안한다.

ABSTRACT

Recent work has introduced attacks that extract the architecture information of deep neural networks (DNN), as this knowledge enhances an adversary's capability to conduct black-box attacks against the model. This paper presents the first in-depth security analysis of DNN fingerprinting attacks that exploit cache side-channels. First, we define the threat model for these attacks: our adversary does not need the ability to query the victim model; instead, she runs a co-located process on the host machine victim's deep learning (DL) system is running and passively monitors the accesses of the target functions in the shared framework. Second, we introduce DeepRecon, an attack that reconstructs the architecture of the victim network by using the internal information extracted via Flush+Reload, a cache side-channel technique. Once the attacker observes function invocations that map directly to architecture attributes of the victim network, the attacker can reconstruct the victim's entire network architecture. In our evaluation, we demonstrate that an attacker can accurately reconstruct two complex networks (VGG19 and ResNet50) having observed only one forward propagation. Based on the extracted architecture attributes, we also demonstrate that an attacker can build a meta-model that accurately fingerprints the architecture and family of the pre-trained model in a transfer learning setting. From this meta-model, we evaluate the importance of the observed attributes in the fingerprinting process. Third, we propose and evaluate new framework-level defense techniques that obfuscate our attacker's observations. Our empirical security analysis represents a step toward understanding the DNNs' vulnerability to cache side-channel attacks.

연구 동기 및 목표

• 동일 호스트에서 공동 배치된 공격자가 캐시 사이드 채널을 통해 공유 DNN 프레임워크 코드를 모니터링하는 위협 모델을 정의한다.
• Flush+Reload 관찰로 피해자의 DNN 아키텍처를 재구성하기 위해 DeepRecon을 개발한다.
• 전이 학습에서 아키텍처 계열과 교사/학생 모델 관계를 지문화할 수 있도록 공격자의 능력을 입증한다.
• 하드웨어나 OS 변경 없이 관측을 불투명하게 만드는 방어책(Obfuscation)들을 평가한다.

제안 방법

• 공유 DL 프레임워크(TensorFlow, PyTorch/Caffe2)에서 특정 프레임워크 함수가 매핑하는 아키텍처 속성들을 모니터링하기 위해 Flush+Reload를 사용한다.
• 아키텍처 속성을 추론하기 위해 함수 호출 시퀀스와 개수를 관찰한다(Convs, FCs, Relus, Pools, Merges, Biases).
• 관찰된 속성을 매핑하여 단일 순전파 및 다중 순전파로 VGG19, ResNet50 등 전체 네트워크 아키텍처를 재구성한다.
• 추출된 속성을 이용해 메타모델(의사 결정 트리)을 학습시켜 전이 학습에서 아키텍처 계열과 교사/학생 관계를 지문화한다.
• 관측된 속성을 은폐하고 재구성 오류를 증가시키기 위해 디코이 TinyNets를 실행하는 프레임워크 수준의 방어를 제안하고 평가한다.

실험 결과

연구 질문

• RQ1 캐시 사이드 채널을 사용하는 공동 배치 공격자가 모델 질의 없이 피해자의 DNN 아키텍처를 재구성할 수 있는가?
• RQ2 하드웨어 수준 관측으로부터 DNN을 지문화하는 데 가장 정보가 많은 아키텍처 속성은 무엇인가?
• RQ3 관측된 속성으로 공격자가 아키텍처 계열이나 전이 학습 교사 모델을 어느 정도까지 지문화할 수 있는가?
• RQ4 하드웨어 변경 없이도 프레임워크 수준의 방어가 공격자의 아키텍처 재구성 능력을 효과적으로 약화시키는가?

주요 결과

• DeepRecon은 단일 순전파 관찰로 VGG19 및 ResNet50의 아키텍처를 정확하게 재구성할 수 있다.
• 공격자는 13개 CNN 아키텍처에서 8개의 아키텍처 속성을 높은 정확도로 추출하여 전체 아키텍처 재구성이 가능하다.
• 추출된 속성에서 학습된 메타모델은 전이 학습에서 아키텍처 계열과 교사 모델을 높은 정확도로 지문화할 수 있으며(분류 작업에서 100%로 보고된 성능).
• 지문화를 위한 중요한 속성으로는 각 작업 및 아키텍처에서 #Relu, #Merges, #Convs, #APools가 포함된다.
• 프레임워크 수준의 방어(디코이 TinyNets)를 사용하면 속성 추출이 크게 감소하여 베이스라인 DeepRecon 오차(≈2.9) 대비 수천 개의 오류(1283–2211)를 유발한다.
• 방어는 하드웨어나 OS 변경이 필요하지 않으며 일반적인 DL 프레임워크에 통합될 수 있다.