[논문 리뷰] Cache Telepathy: Leveraging Shared Resource Attacks to Learn DNN Architectures

Mengjia Yan, Christopher W. Fletcher외 1명|arXiv (Cornell University)|2018. 08. 14.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 44

한 줄 요약

본 논문은 Cache Telepathy를 소개한다. 이는 BLAS 라이브러리의 GEMM 파라미터에 하이퍼파라미터를 매핑하여 DNN 아키텍처를 추론하는 캐시 사이드 채널 공격으로, 아키텍처 검색 공간을 대폭 축소한다.

ABSTRACT

Deep Neural Networks (DNNs) are fast becoming ubiquitous for their ability to attain good accuracy in various machine learning tasks. A DNN's architecture (i.e., its hyper-parameters) broadly determines the DNN's accuracy and performance, and is often confidential. Attacking a DNN in the cloud to obtain its architecture can potentially provide major commercial value. Further, attaining a DNN's architecture facilitates other, existing DNN attacks. This paper presents Cache Telepathy: a fast and accurate mechanism to steal a DNN's architecture using the cache side channel. Our attack is based on the insight that DNN inference relies heavily on tiled GEMM (Generalized Matrix Multiply), and that DNN architecture parameters determine the number of GEMM calls and the dimensions of the matrices used in the GEMM functions. Such information can be leaked through the cache side channel. This paper uses Prime+Probe and Flush+Reload to attack VGG and ResNet DNNs running OpenBLAS and Intel MKL libraries. Our attack is effective in helping obtain the architectures by very substantially reducing the search space of target DNN architectures. For example, for VGG using OpenBLAS, it reduces the search space from more than $10^{35}$ architectures to just 16.

연구 동기 및 목표

• MLaaS에서의 아키텍처 누출 위험성과 왜 DNN 하이퍼파라미터가 가치 있는 표적이 되는지 동기를 부여한다.
• DNN 추론이 타일링된 GEMM 연산으로 매핑되며 그 파라미터가 아키텍처의 세부 정보를 드러낸다는 것을 보인다.
• 일반-purpose CPU에서 DNN 아키텍처를 복구하기 위한 캐시 기반 사이드 채널 공격을 시연한다.
• 아키텍처 발견을 위해 하이퍼파라미터를 GEMM 파라미터에 매핑하고 검색 공간을 축소하는 방법론을 제공한다.

제안 방법

• DNN 레이어 타입(완전 연결 및 합성곱)이 GEMM 행렬 크기와 블록으로 어떻게 매핑되는지 분석한다.
• Prime+Probe와 Flush+Reload를 사용하여 GEMM 실행을 모니터링하고 BLAS 구현에서 m, n, k를 추출하기 위한 Cache Telepathy 공격을 개발한다.
• 하이퍼파라미터와 행렬 파라미터 간 매핑을 사용하여 아키텍처를 역설계한다.
• 레이어 간 연결(지름길/분기)을 검사하여 GEMM 제약을 통해 비순차적 연결을 식별한다.
• 시그모이드 대 ReLU 계열의 캐시 접근 패턴을 조사하여 활성화 함수를 식별한다.
• 매핑 및 레이어 연결에서의 제약을 이용해 아키텍처 검색 공간을 축소한다.

실험 결과

연구 질문

• RQ1 캐시 사이드 채널 정보가 DNN의 레이어 수, 레이어 크기, 활성화 함수를 밝혀낼 수 있는가?
• RQ2 일반적인 BLAS 라이브러리에서 GEMM 파라미터 흔적으로 DNN의 하이퍼파라미터를 어떻게 추론할 수 있는가?
• RQ3 캐시 기반 관찰을 사용하여 잠재적 아키텍처의 탐색 공간을 어느 정도 축소할 수 있는가?
• RQ4 일반 DNN 백엔드에서 캐시 타이밍 차이로 활성화 함수가 구별될 수 있는가?
• RQ5 공격자가 co-location(동일 위치 공유)되어 있어야 하거나 공유 라이브러리가 필요한가?

주요 결과

• Cache Telepathy는 하이퍼파라미터에 대응하는 GEMM 매개변수를 노출시켜 DNN 아키텍처 탐색 공간을 축소한다.
• OpenBLAS를 사용하는 VGG의 경우 탐색 공간이 10^35개가 넘던 아키텍처에서 16개의 아키텍처로 축소된다.
• 공격은 일반 목적 프로세서에서 OpenBLAS와 Intel MKL을 실행하는 DNN을 대상으로 한다.
• 이 방법은 DNN 하이퍼파라미터를 GEMM 차원과 개수로 매핑하여 아키텍처를 정확하게 역설계한다.
• 활성화 함수는 특정 구현 세부 정보(예: sigmoid)를 겨냥한 캐시 탐침으로 구분될 수 있다.
• 이 접근법은 일반 ML 프레임워크(TensorFlow, Caffe, Theano, MXNet)와 백엔드(OpenBLAS, MKL)에 적용 가능하다.