[논문 리뷰] DeepTrust^RT: Confidential Deep Neural Inference Meets Real-Time!

Babar, Mohammad Fakhruddin, Hasan, Monowar|arXiv (Cornell University)|2024. 01. 01.

Advanced Neural Network Applications인용 수 754

한 줄 요약

이 논문은 정확도 손실 없이 깊이 신경망을 압축하기 위해 프루닝, 훈련된 양자화, 허프만 부호화를 조합한 삼단계 파이프라인인 딥 콤파션을 제안한다. 이는 AlexNet의 저장 용량을 240MB에서 6.9MB(35배)로, VGG-16을 552MB에서 11.3MB(49배)로 줄여 차량용 SRAM 캐싱을 가능하게 하고, CPU, GPU, 모바일 GPU 플랫폼에서 3배에서 7배의 에너지 효율 향상을 달성한다.

ABSTRACT

Deep Neural Networks (DNNs) are becoming common in "learning-enabled" time-critical applications such as autonomous driving and robotics. One approach to protect DNN inference from adversarial actions and preserve model privacy/confidentiality is to execute them within trusted enclaves available in modern processors. However, running DNN inference inside limited-capacity enclaves while ensuring timing guarantees is challenging due to (a) large size of DNN workloads and (b) extra switching between "normal" and "trusted" execution modes. This paper introduces new time-aware scheduling schemes - DeepTrust^RT - to securely execute deep neural inferences for learning-enabled real-time systems. We first propose a variant of EDF (called DeepTrust^RT-LW) that slices each DNN layer and runs them sequentially in the enclave. However, due to extra context switch overheads of individual layer slices, we further introduce a novel layer fusion technique (named DeepTrust^RT-FUSION). Our proposed scheme provides hard real-time guarantees by fusing multiple layers of DNN workload from multiple tasks; thus allowing them to fit and run concurrently within the enclaves while maintaining real-time guarantees. We implemented and tested DeepTrust^RT ideas on the Raspberry Pi platform running OP-TEE+DarkNet-TZ DNN APIs and three DNN workloads (AlexNet-squeezed, Tiny Darknet, YOLOv3-tiny). Compared to the layer-wise partitioning approach (DeepTrust^RT-LW), DeepTrust^RT-FUSION can schedule up to 3x more tasksets and reduce context switches by up to 11.12x. We further demonstrate the efficacy of DeepTrust^RT using a flight controller (ArduPilot) case study and find that DeepTrust^RT-FUSION retains real-time guarantees where DeepTrust^RT-LW becomes unschedulable.

연구 동기 및 목표

• 제한된 저장 용량과 에너지 자원을 가진 모바일 및 임베디드 시스템에 큰 정확도의 깊이 신경망을 구현하는 데 도전하는 문제를 해결한다.
• 딥 신경망의 저장 용량을 차량용 SRAM에 맞추어 외부 DRAM 액세스를 피하기 위해 최소화한다.
• 메모리 대역폭 사용을 줄여 모바일 시스템에서 지배적인 에너지 소비를 최소화한다.
• 이진 파일 크기와 대역폭 제약이 있는 모바일 앱에서 복잡한 모델의 실용적 구현을 가능하게 한다.
• 구조적이고 훈련 가능한 압축 파이프라인을 통해 극단적인 압축 동안 모델 정확도를 유지한다.

제안 방법

• 낮은 가중치 연결을 제거하기 위해 크기 기반 프루닝을 적용하여 파라미터를 9배에서 13배로 줄이고 정확도를 유지한다.
• 훈련된 양자화 적용: 가중치를 군집(예: 완전 연결 계층에 대해 32개의 중심점)으로 그룹화하고, 중심점과 인덱스만 저장하며 정확도 복구를 위해 미세 조정한다.
• 압축된 인덱스와 중심점에 대해 허프만 부호화를 적용하여 추가로 저장 용량을 줄여 총 35배에서 49배의 압축을 달성한다.
• 희소 가중치 행렬을 압축 희소 행(CSR) 또는 압축 희소 열(CSC) 형식으로 표현하고 상대적 인덱스 인코딩을 사용하여 메타데이터 오버헤드를 줄인다.
• 공유된 가중치 값(코드북), 인덱스(군집 할당), 압축된 메타데이터만 저장하여 저장 용량의 부풀어림을 최소화한다.
• 프루닝과 양자화 이후 재훈련을 적용하여 남은 가중치와 중심점을 미세 조정하여 정확도 저하 없이 보장한다.

실험 결과

연구 질문

• RQ1 프루닝, 양자화, 부호화의 조합을 통해 깊이 신경망을 35배에서 49배로 정확도 손실 없이 압축할 수 있는가?
• RQ2 프루닝과 양자화를 통합된 파이프라인에서 동시에 적용하면 순차적 적용보다 더 높은 압축 성능을 낼 수 있는가?
• RQ3 압축된 모델이 전체적으로 차량용 SRAM에 맞게 들어가, 에너지 집약적인 DRAM 액세스 의존도를 줄일 수 있는가?
• RQ4 압축이 CPU, GPU, 모바일 GPU 플랫폼에서 추론 속도와 에너지 효율성에 어떤 영향을 미치는가?
• RQ5 이 방법은 AlexNet, VGG-16, LeNet 등 다양한 아키텍처에 일반화되어 정확도 저하 없이 적용 가능한가?

주요 결과

• 딥 콤파션은 ImageNet에서 정확도 손실 없이 AlexNet의 모델 크기를 240MB에서 6.9MB로 압축하여 35배의 압축을 달성했다.
• VGG-16는 552MB에서 11.3MB로 압축되어 정확도 저하 없이 49배의 압축을 달성했다.
• LeNet는 39배로 압축되었고 정확도 손실 없이 다양한 아키텍처에 일반화됨을 입증했다.
• 압축된 모델은 CPU, GPU, 모바일 GPU 플랫폼에서 레이어 단위로 3배에서 4배의 속도 향상을 보였고, 에너지 효율성이 3배에서 7배 향상되었다.
• 최종 모델는 전체적으로 차량용 SRAM에 들어가(1회 액세스당 5pJ), 외부 DRAM 액세스(1회 액세스당 640pJ)를 피하여 에너지 소비를 극적으로 줄였다.
• 기존 연구 대비 이 방법은 압축 비율과 정확도 유지 측면에서 뛰어나, 프루닝과 양자화만으로도 27배에서 31배의 압축을 달성했고, 허프만 부호화 이후에는 35배에서 49배의 압축을 달성했다.