[논문 리뷰] How to 0wn NAS in Your Spare Time
이 논문은 공유된 가상 머신에서의 Flush+Reload 사이드채널 유출 정보만을 사용하여, 신규 딥러닝 시스템—특히 데이터 전처리 파이프라인과 신경망 아키텍처—를 재구성하는 실용적인 캐시 사이드채널 공격을 제시한다. 이 방법은 계산 추적을 추론하고, 후보 아키텍처를 생성하며, 파라미터 추정을 통해 이를 선별함으로써 MalConv와 ProxylessNAS-CPU에서 0% 재구성 오차를 달성한다.
New data processing pipelines and novel network architectures increasingly drive the success of deep learning. In consequence, the industry considers top-performing architectures as intellectual property and devotes considerable computational resources to discovering such architectures through neural architecture search (NAS). This provides an incentive for adversaries to steal these novel architectures; when used in the cloud, to provide Machine Learning as a Service, the adversaries also have an opportunity to reconstruct the architectures by exploiting a range of hardware side channels. However, it is challenging to reconstruct novel architectures and pipelines without knowing the computational graph (e.g., the layers, branches or skip connections), the architectural parameters (e.g., the number of filters in a convolutional layer) or the specific pre-processing steps (e.g. embeddings). In this paper, we design an algorithm that reconstructs the key components of a novel deep learning system by exploiting a small amount of information leakage from a cache side-channel attack, Flush+Reload. We use Flush+Reload to infer the trace of computations and the timing for each computation. Our algorithm then generates candidate computational graphs from the trace and eliminates incompatible candidates through a parameter estimation process. We implement our algorithm in PyTorch and Tensorflow. We demonstrate experimentally that we can reconstruct MalConv, a novel data pre-processing pipeline for malware detection, and ProxylessNAS- CPU, a novel network architecture for the ImageNet classification optimized to run on CPUs, without knowing the architecture family. In both cases, we achieve 0% error. These results suggest hardware side channels are a practical attack vector against MLaaS, and more efforts should be devoted to understanding their impact on the security of deep learning systems.
연구 동기 및 목표
- 딥러닝에서 새로운 아키텍처와 전처리 파이프라인은 가치 있는 기술적 비밀이므로, 이에 대한 지적재산권 침해 위협을 해결한다.
- 클라우드 기반 MLaaS 환경에서 하드웨어 사이드채널 유출이 공격자에게 사전 지식 없이 전체 딥러닝 시스템을 재구성하는 데 악용될 수 있는지 조사한다.
- 공동 배치된 가상 머신에서의 최소한의 사이드채널 정보만을 사용하여 딥러닝 시스템의 핵심 구성 요소를 재구성하는 실용적인 공격을 개발한다.
- 실제 모델, 특히 MalConv와 ProxylessNAS-CPU에 대해 실제 클라우드 배포 조건 하에서 이 공격의 타당성과 효과성을 입증한다.
제안 방법
- 공동 배치된 VM에서의 피해자의 딥러닝 추론에 대한 캐시 액세스 패턴을 모니터링하기 위해 Flush+Reload 사이드채널 공격을 활용한다.
- 캐시 액세스 패턴에서 함수 호출과 그 실행 시간의 추적을 추출하여 컨볼루션 및 배치 정규화와 같은 연산을 식별한다.
- 관측된 연산의 순서와 시간을 분석하여 계산 그래프를 생성하고, 이를 미지의 파라미터를 가진 계산 그래프로 모델링한다.
- 관측된 실행 시간을 이론적 행렬 곱셈 비용과 일치시켜 불일치하는 후보 아키텍처를 제거하기 위해 파라미터 추정 과정을 활용한다.
- 반복적인 쿼리에서 반복되는 연산 블록을 식별하기 위해 빈도 기반 시퀀스 마이닝(FSM)을 사용하여 다중 입력에 걸쳐 재구성 정확도를 향상시킨다.
- PyTorch와 TensorFlow 모두에 공격를 구현하여 프레임워크 간의 적용 가능성과 내구성을 검증한다.
실험 결과
연구 질문
- RQ1사전 지식 없이 캐시 사이드채널 공격이 새로운 딥러닝 시스템의 전체 계산 그래프를 재구성할 수 있는가?
- RQ2실행 시간과 캐시 액세스 패턴을 얼마나 정확히 활용하여 커널 크기, 필터 수, 스트라이드와 같은 아키텍처 하이퍼파라미터를 추론할 수 있는가?
- RQ3클라우드 기반 MLaaS 환경에서 MalConv와 ProxylessNAS-CPU와 같은 실제 모델에 이 공격을 적용했을 때의 효과성은 어떠한가?
- RQ4피해자가 더미 연산이나 계산 재배치와 같은 오버행 기법을 사용할 경우, 이 공격의 실용적 한계는 무엇인가?
- RQ5아키텍처 오버행 기법으로 이 공격을 방어할 수 있으며, 성능과 구현 가능성 측면에서의 성과는 어떠한가?
주요 결과
- 단일 추론 쿼리에서의 사이드채널 유출 정보만을 사용하여, MalConv라는 새로운 악성코드 검출 전처리 파이프라인을 0% 오차로 성공적으로 재구성했다.
- CPU 추론을 최적화한 새로운 신경망 아키텍처인 ProxylessNAS-CPU를 사전 아키텍처 가족 지식 없이도 0% 오차로 재구성했다.
- 관측된 실행 시간과 이론적 행렬 곱셈 비용 간의 상관관계를 통해 정확한 파라미터 추정이 가능해져 재구성 과정에서 완벽한 정확도를 달성했다.
- 피해자의 시스템에 null 연산이나 계산 재배치와 같은 오버행 기법이 포함되어 있어도 공격의 효과성은 유지되나, 이는 재구성 시간을 증가시킨다.
- 패딩 연산자나 가짜 네트워크를 실행하는 방어 조치는 공격자 노력 증가를 유도하지만 완전한 방어는 아니며, 반복 쿼리를 통해 노이즈 제거 및 FSM 기반 패턴 복구가 가능하기 때문이다.
- 결과적으로 하드웨어 사이드채널은 MLaaS 플랫폼의 보안에 실용적이고 심각한 위협임을 입증하며, 지적재산 가치가 높은 시스템에 특히 그렇다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.