[논문 리뷰] GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous Probabilistic Integrity Verification Inside Trusted Execution Environment

Aref Asvadishirehjini, Murat Kantarcıoğlu외 1명|arXiv (Cornell University)|2020. 10. 17.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 7

한 줄 요약

GOAT는 신뢰할 수 없는 클라우드 환경에서 안전하고 외주화된 딥 뉴럴 네트워크 학습을 위한 새로운 프레임워크로, 신뢰할 수 있는 실행 환경(Tee) 내에서 이방형 확률적 검증과 적응형 초매개변수 튜닝을 결합하여 모델의 무결성을 보장한다. 핵심 계산 단계를 무작위로 검증하고, 강한 클리핑을 통해 기울기 업데이트를 제약함으로써 GOAT는 순수 TEE 솔루션 대비 2배에서 20배의 성능 향상을 달성하면서도 상태 최신 수준의 백도어 공격을 99.9%의 확률로 탐지한다.

ABSTRACT

Machine learning models based on Deep Neural Networks (DNNs) are increasingly deployed in a wide range of applications ranging from self-driving cars to COVID-19 treatment discovery. To support the computational power necessary to learn a DNN, cloud environments with dedicated hardware support have emerged as critical infrastructure. However, there are many integrity challenges associated with outsourcing computation. Various approaches have been developed to address these challenges, building on trusted execution environments (TEE). Yet, no existing approach scales up to support realistic integrity-preserving DNN model training for heavy workloads (deep architectures and millions of training examples) without sustaining a significant performance hit. To mitigate the time gap between pure TEE (full integrity) and pure GPU (no integrity), we combine random verification of selected computation steps with systematic adjustments of DNN hyper-parameters (e.g., a narrow gradient clipping range), hence limiting the attacker's ability to shift the model parameters significantly provided that the step is not selected for verification during its training phase. Experimental results show the new approach achieves 2X to 20X performance improvement over pure TEE based solution while guaranteeing a very high probability of integrity (e.g., 0.999) with respect to state-of-the-art DNN backdoor attacks.

연구 동기 및 목표

• 대규모 DNN에 대한 순수 TEE 기반 딥 뉴럴 네트워크 학습의 확장성과 성능 저하 문제를 해결하기 위해.
• 클라우드 인프라가 신뢰할 수 없을 경우 GPU 가속 학습 중 모델의 무결성을 보장하기 위해.
• 신뢰할 수 있는 실행 환경의 성능 오버헤드를 줄이되 강력한 무결성 보장을 훼손하지 않기 위해.
• 최소한의 하드웨어 신뢰를 가진 클라우드 환경에서 실용적이고 감사 가능하며 재현 가능한 DNN 학습을 가능하게 하기 위해.

제안 방법

• 미니배치 선택, 난수 생성, 파라미터 초기화를 관리하기 위해 TEE를 통합한다.
• 모든 순방향 및 역방향 전파를 GPU에 위탁하고, TEE는 선택된 계산 단계만 확률적으로 검증한다.
• 스토케스틱 기울기 하강(SGD) 단계의 일부를 무작위로 검증하여 악성 변칙을 고확률로 탐지한다.
• 특히 좁은 기울기 클리핑 범위를 적용함으로써 단계당 최대 파라미터 이동을 제한하는 체계적 초매개변수 튜닝을 시행한다.
• Freivalds의 기법을 활용한 확률적 무결성 검증을 통해 TEE 내에서 행렬 곱셈과 기울기 업데이트를 검증한다.
• GPU가 대부분의 학습 워크로드를 수행하고 TEE는 경량의 무결성 모니터 역할을 하는 하이브리드 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 대규모 DNN 학습에서 TEE 오버헤드를 크게 줄이면서도 고수준의 무결성 보장을 유지하기 위해 선택된 학습 단계의 무작위 검증이 가능한가?
• RQ2 기울기 클리핑을 강화하면 GPU 외주 학습 환경에서 단일 단계 백도어 공격의 가능성과 탐지 가능성에 어떤 영향을 미치는가?
• RQ3 무결성 보장을 훼손하지 않으면서 순수 TEE 기반 학습 대비 성능 향상을 어느 정도 달성할 수 있는가?
• RQ4 학습률, 클리핑 범위 등과 같은 초매개변수 설정은 공격자가 모델 파라미터를 감지되지 않게 조작할 수 있는 능력을 얼마나 줄이는가?
• RQ5 실제 학습 조건에서 최신 수준의 백도어 공격에 대해 제안된 방법이 얼마나 효과적인가?

주요 결과

• GOAT는 순수 TEE 기반 솔루션 대비 딥 뉴럴 네트워크 학습에서 2배에서 20배의 성능 향상을 달성한다.
• 프레임워크는 심층적인 공격 조건에서도 백도어 공격을 최대 0.999의 확률로 탐지한다.
• 엄격한 기울기 클리핑(예: 클리핑 범위 0.1)은 단계당 최대 파라미터 이동을 제한하여 공격자가 다수의 조율된 변경을 수행하도록 강제한다.
• MNIST에서는 빠른 수렴 덕분에 초기 공격이 더 효과적이지만, 확률적 검증 덕분에 여전히 탐지 가능하다.
• 오염된 샘플 비율이 0.5를 초과하면 특히 GTSRB와 같은 복잡한 데이터셋에서 공격 성공률이 크게 감소한다.
• 무작위 검증과 초매개변수 강화의 조합은 단일 단계 공격을 효과적으로 억제하고 공격자의 창공 창출 창을 줄인다.