[논문 리뷰] Cache Telepathy: Leveraging Shared Resource Attacks to Learn DNN Architectures

Mengjia Yan, Christopher W. Fletcher외 1명|arXiv (Cornell University)|2018. 08. 14.

Adversarial Robustness in Machine Learning인용 수 85

한 줄 요약

본 논문은 추론 중 GEMM 매개변수 사용를 분석하여 DNN 아키텍처를 역설계하는 캐시 사이드 채널 공격인 Cache Telepathy를 제시하며, 아키텍처 탐색 공간을 대폭 축소한다.

ABSTRACT

Deep Neural Networks (DNNs) are fast becoming ubiquitous for their ability to attain good accuracy in various machine learning tasks. A DNN's architecture (i.e., its hyper-parameters) broadly determines the DNN's accuracy and performance, and is often confidential. Attacking a DNN in the cloud to obtain its architecture can potentially provide major commercial value. Further, attaining a DNN's architecture facilitates other, existing DNN attacks. This paper presents Cache Telepathy: a fast and accurate mechanism to steal a DNN's architecture using the cache side channel. Our attack is based on the insight that DNN inference relies heavily on tiled GEMM (Generalized Matrix Multiply), and that DNN architecture parameters determine the number of GEMM calls and the dimensions of the matrices used in the GEMM functions. Such information can be leaked through the cache side channel. This paper uses Prime+Probe and Flush+Reload to attack VGG and ResNet DNNs running OpenBLAS and Intel MKL libraries. Our attack is effective in helping obtain the architectures by very substantially reducing the search space of target DNN architectures. For example, for VGG using OpenBLAS, it reduces the search space from more than $10^{35}$ architectures to just 16.

연구 동기 및 목표

• DNN 추론이 타일링된 GEMM에 의존하며 아키텍처 하이퍼파라미터가 GEMM 호출과 행렬 형태에 영향을 준다는 것을 입증한다.
• 캐시 사이드 채널이 GEMM 매개변수를 유출하여 DNN 아키텍처를 추론할 수 있음을 보인다.
• 캐시 공격과 분석을 결합한 실용적 공격 파이프라인을 개발하여 DNN 탐색 공간을 줄인다.
• OpenBLAS와 Intel MKL을 사용한 일반적인 DNN(VGG, ResNet)에 대해 공격을 평가하여 효과를 입증한다.

제안 방법

• DNN 하이퍼파라미터가 완전 연결층과 합성곱층에서 GEMM 실행으로 어떻게 매핑되는지 분석한다.
• DNN 계층 구성을 GEMM 행렬 크기와 배치 차원으로 변환하여 관찰 가능한 패턴을 식별한다.
• OpenBLAS(및 MKL) 구현에서 GEMM 차원(m, n, k)을 추출하기 위해 Prime+Probe 및 Flush+Reload로 캐시 기반 사이드 채널 공격을 구현한다.
• 관찰된 GEMM 매개변수를 사용하여 DNN 아키텍처 탐색 공간을 재구성하고 축소한다.
• 레이어 연결과 활성화를 상관시키는 후처리 단계를 적용하여 아키텍처 후보를 다듬는다.

실험 결과

연구 질문

• RQ1 캐시 시간 측정 사이드 채널이 DNN 하이퍼파라미터에 해당하는 GEMM 매개변수 패턴을 드러낼 수 있는가?
• RQ2 관찰된 GEMM 차원이 MLaaS 환경에서 DNN 아키텍처 탐색 공간을 어느 정도 제약할 수 있는가?
• RQ3 일반 BLAS 라이브러리를 실행하는 VGG/ResNet 유사 네트워크에서 계층 유형, 수, 연결성을 공격이 얼마나 효과적으로 식별할 수 있는가?
• RQ4 다른 라이브러리(OpenBLAS, MKL)가 GEMM 매개변수의 관찰 가능성에 미치는 영향은 무엇인가?
• RQ5 캐시 관찰을 통해 활성화 함수 및 기타 비-GEMM 구성 요소를 구별할 수 있는가?

주요 결과

• Cache Telepathy는 추론 중 GEMM 매개변수 사용을 모니터링하여 DNN 아키텍처를 추론할 수 있다.
• OpenBLAS를 사용하는 VGG의 경우 공격은 아키텍처 탐색 공간을 1e35 이상에서 16개의 가능한 아키텍처로 축소한다.
• 공격은 MLaaS에서 사용되는 범용 CPU를 대상으로 하며 Prime+Probe 및 Flush+Reload 기술에 의존한다.
• DNN 하이퍼파라미터에서 GEMM 인수로의 매핑은 완전 연결층과 합성곱층 모두에서 분석 가능하며 풀링 및 패딩 효과를 포함한다.
• 이 접근법은 현대 프레임워크(TensorFlow, Caffe, Theano, MXNet)와 라이브러리(OpenBLAS, MKL)에 적용된다.
• 메서드는 GEMM 간 대기 시간 간격 패턴 및 차원 제약을 이용해 비순차적 연결(지름길/가지)을 식별한다.