[논문 리뷰] DeepPeep: Exploiting Design Ramifications to Decipher the Architecture of Compact DNNs

Nandan Kumar Jha, Sparsh Mittal외 2명|arXiv (Cornell University)|2020. 07. 30.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 5

한 줄 요약

DeepPeep는 깊이 분리 가능 합성곱과 채널 섞기와 같은 고유한 설계 특성을 활용하여 압축된 딥 뉴럴 네트워크(DNN)의 아키텍처를 역공학하는 이단계 측면채널 공격을 제안한다. 이 방법은 성능 트레이스와 cuBLAS 커널 분석만으로도 DNN 빌딩 블록을 높은 정확도로 재구성하며, P100 및 P4000 GPU에서 효과적인 지적재산(IP) 도용을 입증한다. 또한 지연 시간이 60% 감소하고 정확도가 2% 향상된 보안형 MobileNet-V1을 제안한다.

ABSTRACT

The remarkable predictive performance of deep neural networks (DNNs) has led to their adoption in service domains of unprecedented scale and scope. However, the widespread adoption and growing commercialization of DNNs have underscored the importance of intellectual property (IP) protection. Devising techniques to ensure IP protection has become necessary due to the increasing trend of outsourcing the DNN computations on the untrusted accelerators in cloud-based services. The design methodologies and hyper-parameters of DNNs are crucial information, and leaking them may cause massive economic loss to the organization. Furthermore, the knowledge of DNN's architecture can increase the success probability of an adversarial attack where an adversary perturbs the inputs and alter the prediction. In this work, we devise a two-stage attack methodology "DeepPeep" which exploits the distinctive characteristics of design methodologies to reverse-engineer the architecture of building blocks in compact DNNs. We show the efficacy of "DeepPeep" on P100 and P4000 GPUs. Additionally, we propose intelligent design maneuvering strategies for thwarting IP theft through the DeepPeep attack and proposed "Secure MobileNet-V1". Interestingly, compared to vanilla MobileNet-V1, secure MobileNet-V1 provides a significant reduction in inference latency ($\approx$60%) and improvement in predictive performance ($\approx$2%) with very-low memory and computation overheads.

연구 동기 및 목표

• 압축된 DNN 설계 방법론이 성능 및 메모리 액세스 패턴을 유출하는 측면채널 공격에 얼마나 취약한지 조사하는 것.
• 성능 측면채널과 cuBLAS 커널 분석을 활용해 특허 접근이 불필요한 경량 비침습적 공격 기법을 개발하여 DNN 빌딩 블록을 재구성하는 것.
• 정보 유출를 방지하면서도 추론 효율성과 정확도를 유지하거나 향상시키는 설계 지침을 제안하는 것.
• 실제 복잡한 DNN, 예를 들어 MobileNet, DenseNet, ShuffleNet 유형과 같은 복잡한 실제 DNN 아키텍처에 대해 아키텍처 역공학의 가능성을 입증하는 것.
• DeepPeep 유형의 공격에 저항할 수 있는 보안형 MobileNet-V1을 설계하여 높은 성능 향상을 이끌어내는 것.

제안 방법

• 공격는 두 단계의 방법론을 사용한다: 첫째, GPU 실행 트레이스를 분석하여 cuBLAS 커널 호출 패턴과 메모리 액세스 특성을 추출한다.
• 둘째, 이러한 측면채널 신호를 깊이 분리 가능 합성곱(DWConv), 채널 섞기, 그리고 조밀한 연결과 같은 알려진 아키텍처 특징과 연관시킨다.
• 각 DNN 구성 요소의 고유한 계산 및 메모리 액세스 패턴을 활용하여 레이어 유형, 필터 차원, 연결 패턴을 추론한다.
• 구조적 의존성을 모델링하기 위해 관계 추론 기법을 사용하며, 아키텍처 재구성을 그래프 기반 추론 문제로 간주한다.
• 공격는 하드웨어나 소프트웨어에 대한 특권 액세스가 필요 없으며, 관측 가능한 성능 트레이스와 커널 수준의 동작에만 의존한다.
• 보안 DNN 설계 지침은 공격의 통찰에서 유도되며, 성능 비용을 크게 증가시키지 않으면서도 측면채널 누출을 방해하는 미세한 아키텍처 오버헤딩을 도입한다.

실험 결과

연구 질문

• RQ1 DWConv, 채널 섞기, 그리고 조밀한 연결을 사용하는 압축된 DNN 설계 방법론은 성능 및 메모리 액세스 패턴을 유출하는 측면채널 공격에 얼마나 취약한가?
• RQ2 특허 접근 없이도 DNN의 아키텍처 구성 요소를 재구성하는 데 필요한 최소한의 측면채널 정보는 무엇인가?
• RQ3 다양한 압축 DNN 아키텍처, 예를 들어 MobileNet, ShuffleNet, DenseNet에 일반화 가능한 역공학 프레임워크를 구축할 수 있는가?
• RQ4 아키텍처 오버헤딩 기법은 추론 효율성과 정확도를 유지하면서 측면채널 누출을 어느 정도 방지할 수 있는가?
• RQ5 고성능 또는 고메모리 오버헤드 없이도 아키텍처 역공학을 저항할 수 있는 보안형 DNN 유형을 설계할 수 있는가?

주요 결과

• DeepPeep는 P100 및 P4000 GPU의 측면채널 트레이스만을 사용하여 MobileNet-V1, ShuffleNet, DenseNet 유형의 아키텍처를 성공적으로 역공학했다.
• cuBLAS 커널 호출과 메모리 액세스 패턴을 분석하여 레이어 유형, 필터 크기, 연결 패턴을 높은 정확도로 식별했다.
• 제안된 보안형 MobileNet-V1은 원본 대비 약 60%의 지연 시간 감소와 약 2%의 예측 정확도 향상을 달성했다.
• 이 성과는 최소한의 추가 메모리와 계산 오버헤드로 달성되었으며, 지적재산 보호와 성능 최적화가 공존할 수 있음을 보여주었다.
• 깊이 분리 가능 합성곱과 채널 섞기와 같은 설계 요소는 그들만의 고유하고 반복 가능한 성능 프로파일을 지녀 특히 취약했다.
• 이 연구는 경량이고 효율적인 DNN조차도 측면채널 분석을 통해 아키텍처 지적재산(IP) 도용에 취약하다는 점을 드러내며, 클라우드 기반 DNN 추론 환경에서의 중요한 보안 격차를 제기했다.