[논문 리뷰] SEALing Neural Network Models in Secure Deep Learning Accelerators

Pengfei Zuo, Yu Hua외 4명|arXiv (Cornell University)|2020. 08. 09.

Adversarial Robustness in Machine Learning참고 문헌 62인용 수 4

한 줄 요약

이 논문은 엣지 디바이스의 딥러닝 가속기에서 신경망 모델을 보호하기 위한 안전하고 효율적인 하드웨어 가속 프레임워크인 SEAL을 제안한다. 중요한도 인식 스마트 암호화와 공재배치 모드 암호화를 조합함으로써, 기준 가속기 대비 IPC에서 메모리 암호화 오버헤드를 5–7% 감소시키며, 기존 암호화 방법보다 1.4×–1.6×의 IPC 향상을 달성하면서도 버스 스노핑 공격에 대한 강력한 보안을 유지한다.

ABSTRACT

Deep learning (DL) accelerators are increasingly deployed on edge devices to support fast local inferences. However, they suffer from a new security problem, i.e., being vulnerable to physical access based attacks. An adversary can easily obtain the entire neural network (NN) model by physically snooping the GDDR memory bus that connects the accelerator chip with DRAM memory. Therefore, memory encryption becomes important for DL accelerators on edge devices to improve the security of NN models. Nevertheless, we observe that traditional memory encryption solutions that have been efficiently used in CPU systems cause significant performance degradation when directly used in DL accelerators. The main reason comes from the big bandwidth gap between the GDDR memory bus and the encryption engine. To address this problem, our paper proposes SEAL, a Secure and Efficient Accelerator scheme for deep Learning. SEAL enhances the performance of the encrypted DL accelerator from two aspects, i.e., improving the data access bandwidth and the efficiency of memory encryption. Specifically, to improve the data access bandwidth, SEAL leverages a criticality-aware smart encryption scheme which identifies partial data that have no impact on the security of NN models and allows them to bypass the encryption engine, thus reducing the amount of data to be encrypted. To improve the efficiency of memory encryption, SEAL leverages a colocation mode encryption scheme to eliminate memory accesses from counters used for encryption by co-locating data and their counters. Our experimental results demonstrate that, compared with traditional memory encryption solutions, SEAL achieves 1.4 ~ 1.6 times IPC improvement and reduces the inference latency by 39% ~ 60%. Compared with a baseline accelerator without memory encryption, SEAL compromises only 5% ~ 7% IPC for significant security improvement.

연구 동기 및 목표

• GDDR 메모리 버스에서의 물리적 버스 스노핑 공격을 통해 신경망 모델이 추출될 수 있는 엣지 기반 딥러닝 가속기의 심각한 보안 취약점을 해결한다.
• 고대역폭 딥러닝 가속기에서 기존 메모리 암호화 기법으로 인한 심각한 성능 저하 문제를 해결한다. 이는 GDDR와 암호화 엔진 간의 대역폭 격차로 인해 발생한다.
• 지연 민감도가 높은 엣지 추론 워크로드를 고려할 때 강력한 암호 보안을 유지하면서도 성능 오버헤드를 최소화하는 안전하고 효율적인 메모리 암호화 기법을 설계한다.
• 보안, 성능, 하드웨어 효율성을 균형 잡고 실세계 엣지 AI 가속기에서 메모리 암호화의 실용적 구현을 가능하게 한다.

제안 방법

• 암호화가 필요하지 않은 데이터(예: 특정 활성화 값 또는 중간 출력)를 식별하고 제외함으로써 전체 암호화 대상 데이터량을 줄이는 중요도 인식 스마트 암호화(SE) 기법을 제안한다.
• 데이터와 해당 암호화 카운터를 온칩에서 공재배치함으로써 암호화 해독 시 카운터를 별도로 메모리에서 가져오지 않아도 되도록 하는 공재배치 모드 암호화(ColoE) 기법을 구현한다.
• SE 및 ColoE 기법을 통합한 하드웨어 아키텍처를 설계하여 GDDR 메모리 인터페이스와 동시에 작동하게 하여 지연을 최소화하고 대역폭 활용도를 극대화한다.
• 카운터 기반 암호화를 통한 일회용 패드(OTP) 생성과 XOR 연산을 조합하여 의미론적 보안을 확보한다. 이는 카운터 모드 암호화와 유사하지만, 메모리 액세스 오버헤드가 감소한다.
• 카운터 생성 과정을 메모리 읽기 작업과 겹쳐 암호화 파이프라인을 최적화하여 복호화 지연을 숨기고, 효과적 처리량을 향상시킨다.
• 실세계 DNN 워크로드(예: ResNet, VGG)를 GPU 기반 가속기 플랫폼에서 평가하여 IPC, 추론 지연, 보안 보장을 측정한다.

실험 결과

연구 질문

• RQ1 고대역폭 딥러닝 가속기에서 금전적인 성능 오버헤드 없이도 실현 가능한 메모리 암호화는 어떻게 설계할 수 있는가?
• RQ2 신경망 추론 파이프라인에서 암호적으로 비중요한 데이터는 무엇이며, 모델 보안에 영향을 주지 않게 암호화에서 제외해도 안전한가?
• RQ3 기존 카운터 모드 암호화에서 발생하는 카운터 메모리 액세스로 인한 성능 저하 문제는 아키텍처 수준에서 데이터와 카운터를 함께 재배치함으로써 제거할 수 있는가?
• RQ4 스마트 데이터 선택과 카운터 공재배치를 조합한 하이브리드 암호화 기법은 딥러닝 가속기에서 메모리 암호화의 성능 오버헤드를 어느 정도 감소시킬 수 있는가?

주요 결과

• SEAL은 기존 메모리 암호화 솔루션 대비 추론 지연을 39%–60% 감소시켰으며, 이는 50% 이상의 IPC 저하를 초래하는 반면 SEAL은 이를 방지한다.
• 암호화가 없는 기준 가속기 대비 SEAL은 오직 5%–7%의 IPC 오버헤드만을 유발하면서도 버스 스노핑 공격에 대한 강력한 보호를 제공한다.
• 중요도 인식 스마트 암호화(SE) 기법은 암호화가 필요한 총 데이터량을 줄여 효과적인 메모리 대역폭을 향상시키고 암호화 엔진의 부담을 감소시킨다.
• 공재배치 모드 암호화(ColoE) 기법은 카운터를 위한 별도의 메모리 액세스를 제거하여 메모리 트래픽을 감소시키고 암호화 효율성을 향상시킨다.
• SEAL은 기존 암호화 방법 대비 1.4×–1.6×의 높은 IPC를 달성하여 대역폭 제약이 있는 딥러닝 가속기에서 뚜렷한 성능 향상을 보였다.
• SE 및 ColoE의 조합은 실시간, 지연 민감도가 높은 엣지 AI 시스템에 배포 가능한 실용적이고 고보안 솔루션을 가능하게 한다.