[논문 리뷰] Can one hear the shape of a neural network?: Snooping the GPU via Magnetic Side Channel

Henrique Teles Maia, Chang Xiao외 3명|arXiv (Cornell University)|2021. 09. 15.

Advanced Memory and Neural Computing참고 문헌 39인용 수 5

한 줄 요약

이 논문은 저비용 $3 인덕션 센서를 사용해 GPU 전원 케이블의 자기장 변동을 분석하여, GPU에서 실행 중인 블랙박스 신경망의 완전한 토폴로지와 하이퍼파라미터를 수동 공격자가 재구성할 수 있음을 보여준다. 이 방법은 이중 단계 접근 방식을 사용한다. 첫 번째 단계는 BiLSTM 분류기를 통해 레이어 유형을 분류하는 것이며, 두 번째 단계는 정수 프로그래밍을 통해 하이퍼파라미터를 동시에 최적화하는 것이다. 이로 인해 VGG 모델에서는 55.19–77.36%, ResNet 모델에서는 84.47–98.56%의 전이 공격 성공률을 달성한다.

ABSTRACT

Neural network applications have become popular in both enterprise and personal settings. Network solutions are tuned meticulously for each task, and designs that can robustly resolve queries end up in high demand. As the commercial value of accurate and performant machine learning models increases, so too does the demand to protect neural architectures as confidential investments. We explore the vulnerability of neural networks deployed as black boxes across accelerated hardware through electromagnetic side channels. We examine the magnetic flux emanating from a graphics processing unit's power cable, as acquired by a cheap $3 induction sensor, and find that this signal betrays the detailed topology and hyperparameters of a black-box neural network model. The attack acquires the magnetic signal for one query with unknown input values, but known input dimensions. The network reconstruction is possible due to the modular layer sequence in which deep neural networks are evaluated. We find that each layer component's evaluation produces an identifiable magnetic signal signature, from which layer topology, width, function type, and sequence order can be inferred using a suitably trained classifier and a joint consistency optimization based on integer programming. We study the extent to which network specifications can be recovered, and consider metrics for comparing network similarity. We demonstrate the potential accuracy of this side channel attack in recovering the details for a broad range of network architectures, including random designs. We consider applications that may exploit this novel side channel exposure, such as adversarial transfer attacks. In response, we discuss countermeasures to protect against our method and other similar snooping techniques.

연구 동기 및 목표

• GPU 전원 케이블에서 유도되는 전자기 측면채널이 블랙박스 신경망 아키텍처에 대한 세부 정보를 泄露할 수 있는지 조사하기 위해.
• 단일 추론 트레이스를 기반으로 비침습적이고 저비용으로 신경망 토폴로지와 하이퍼파라미터를 추출하는 방법을 개발하기 위해.
• 블랙박스 신경망의 정확한 서rogate 모델을 재구성하여 악성 전이 공격를 가능하게 하기 위해.
• 이 측면채널 공격의 타당성과 정확도를 다양한 GPU 모델과 복잡한 아키텍처에서 평가하기 위해.
• 배포된 딥러닝 시스템에서 이러한 물리적 측면채널 유출을 방지하기 위한 대응 조치를 제안하기 위해.

제안 방법

• 전원 케이블 근처에 배치된 저비용 $3 인덕션 센서를 사용해 GPU 전원 케이블의 자기장 변화를 캡처하기 위해.
• EM 신호 트레이스에서 레이어 유형(예: 컨볼루션, 완전 연결, 정규화 등)을 식별하기 위해 BiLSTM 기반 분류기를 사용하기 위해.
• 각 레이어의 하이퍼파라미터(예: 커널 크기, 필터 수, 입력/출력 차원 등)를 전용 딥러닝 모델을 사용해 추정하기 위해.
• 모든 레이어 간 아키텍처 일관성을 확보하기 위해 공동 하이퍼파라미터 최적화 문제를 정수 프로그래밍 문제로 공식화하기 위해.
• 딥러닝 네트워크의 모듈러이고 순차적인 평가 패턴을 활용해 신호 서명을 레이어 순서로 매핑하기 위해.
• 재구성 정확도를 검증하기 위해 재구성된 모델에서 전이 공격 성공률을 측정하기 위해.

실험 결과

연구 질문

• RQ1 GPU 전원 케이블의 자기측면채널 신호가 블랙박스 신경망의 토폴로지와 하이퍼파라미터를 드러낼 수 있는가?
• RQ2 단일 추론 트레이스만을 사용해 수동 관찰자가 복잡한 최신 딥러닝 모델을 어느 정도 정확하게 재구성할 수 있는가?
• RQ3 기존 방법과 비교해 재구성된 모델이 전이 공격를 성공적으로 수행하는 데 얼마나 정확한가?
• RQ4 이 방법의 한계는 비선형 또는 그래프 기반 아키텍처 및 학습 단계 운영을 처리하는 데서 무엇인가?
• RQ5 생산 환경에서 이러한 측면채널 누출을 효과적으로 방지하기 위해 어떤 대응 조치를 시행할 수 있는가?

주요 결과

• 이 방법은 단일 추론 트레이스와 $3 자기 센서만을 사용해 VGG 및 ResNet 유형을 포함한 전체 신경망 아키텍처를 성공적으로 재구성했다.
• VGG 모델에서는 55.19–77.36%, ResNet 모델에서는 84.47–98.56%의 전이 공격 성공률를 달성했으며, 이는 이전의 EM 기반 방법보다 뚜렷이 뛰어나다.
• 이 방법은 여러 GPU 모델에 일반화 가능하며, 순환, 풀링, 정규화 레이어를 포함한 다양한 레이어 유형을 지원한다.
• 깊이가 수백 개에 이르는 네트워크에 대해서도 재구성 정확도가 뛰어나며, 이전 방법이 수십 개 레이어에 국한된 것과 비교해 뛰어나다.
• 이 공격는 입력-출력 데이터, 메모리 트레이스, 하드웨어 변조에 대한 접근이 필요 없어 매우 실용적이고 도청 가능성이 높다.
• 드롭아웃 또는 기타 학습 전용 운영은 추론 중 비활성화되므로 이 방법으로 감지할 수 없으며, 이는 핵심적인 한계점이다.