[논문 리뷰] Privacy-Preserving Inference in Machine Learning Services Using Trusted Execution Environments

Krishna Giri Narra, Zhifeng Lin외 3명|arXiv (Cornell University)|2019. 12. 07.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 27

한 줄 요약

Origami는 암호화된 블라인딩과 신뢰할 수 없는 가속기로의 오프로딩을 통해 Intel SGX 에이전트와 결합함으로써 대규모 딥 네트워크에 대해 고성능이며 프라이버시를 보장하는 추론을 가능하게 한다. 이는 SGX 단독 실행 대비 15.1배 빠른 추론을 달성하며 강력한 조건부 GAN 공격자로부터의 재구성 공격에도 저항한다.

ABSTRACT

This work presents Origami, which provides privacy-preserving inference for large deep neural network (DNN) models through a combination of enclave execution, cryptographic blinding, interspersed with accelerator-based computation. Origami partitions the ML model into multiple partitions. The first partition receives the encrypted user input within an SGX enclave. The enclave decrypts the input and then applies cryptographic blinding to the input data and the model parameters. Cryptographic blinding is a technique that adds noise to obfuscate data. Origami sends the obfuscated data for computation to an untrusted GPU/CPU. The blinding and de-blinding factors are kept private by the SGX enclave, thereby preventing any adversary from denoising the data, when the computation is offloaded to a GPU/CPU. The computed output is returned to the enclave, which decodes the computation on noisy data using the unblinding factors privately stored within SGX. This process may be repeated for each DNN layer, as has been done in prior work Slalom. However, the overhead of blinding and unblinding the data is a limiting factor to scalability. Origami relies on the empirical observation that the feature maps after the first several layers can not be used, even by a powerful conditional GAN adversary to reconstruct input. Hence, Origami dynamically switches to executing the rest of the DNN layers directly on an accelerator without needing any further cryptographic blinding intervention to preserve privacy. We empirically demonstrate that using Origami, a conditional GAN adversary, even with an unlimited inference budget, cannot reconstruct the input. We implement and demonstrate the performance gains of Origami using the VGG-16 and VGG-19 models. Compared to running the entire VGG-19 model within SGX, Origami inference improves the performance of private inference from 11x while using Slalom to 15.1x.

연구 동기 및 목표

• Intel SGX와 같은 신뢰할 수 있는 실행 환경(TEE) 내에서 대규모 DNN 모델을 완전히 실행할 때 발생하는 성능 저하 문제를 해결한다.
• TEE의 한계, 즉 제한된 메모리와 GPU/TPU 지원 부족 문제를 극복한다.
• 민감한 입력 데이터를 泄露하지 않고도 신뢰할 수 없는 가속기로 계산을 안전하게 오프로딩할 수 있도록 한다.
• 암호화된 블라인딩을 통해 강력한 적대자, 특히 조건부 GAN에 대해 강력한 프라이버시 보장을 확보한다.
• 후행 특징 맵이 재구성에 기여하지 않는다는 경험적 관찰에 기반해 DNN의 동적 분할을 통해 성능과 프라이버시의 균형을 이룬다.

제안 방법

• DNN 모델을 여러 세그먼트로 분할하여 초기 레이어는 Intel SGX 에이전트 내에서 실행한다.
• 에이전트 내에서 입력 데이터와 모델 파라미터에 암호화된 블라인딩을 적용하여 민감한 정보를 은폐한다.
• 블라인딩된 특징 맵의 계산을 신뢰할 수 없는 GPU 또는 CPU로 오프로딩하며, 에이전트가 보호하는 블라인딩 요소를 통해 프라이버시를 유지한다.
• SGX에 저장된 개인적인 언블라인딩 요소를 사용해 오프로딩된 계산 후 정확한 출력을 복원한다.
• 경험적 관찰에 기반해 후행 레이어에서 블라인딩에서 직접 가속기 실행으로 전환하는 동적 전환을 수행한다. 이는 후행 특징 맵이 입력 재구성에 정보를 유출하지 않는다는 것을 뜻한다.
• Intel SGX의 보안성을 활용해 블라인딩/언블라인딩 키를 보호하고, 어떤 적대자도 오프로딩된 데이터를 복원할 수 없도록 보장한다.

실험 결과

연구 질문

• RQ1 VGG-16 및 VGG-19와 같은 대규모 DNN 모델에 대해 강력한 프라이버시 보장을 유지하면서도 고성능 비공개 추론을 달성할 수 있는가?
• RQ2 신뢰할 수 없는 가속기로 후행 레이어를 오프로딩함으로써 TEE 내의 계산 부하를 얼마나 줄일 수 있으며, 프라이버시에 영향을 주지 않는가?
• RQ3 암호화된 블라인딩이 강력한 조건부 GAN 적대자에 의해 입력 데이터 재구성을 효과적으로 방지할 수 있는가?
• RQ4 Inference 지연과 처리량 측면에서 Origami의 성능은 SGX 단독 추론 및 Slalom과 같은 이전 연구 대비 어떻게 비교되는가?
• RQ5 후행 레이어에 대해 블라인딩을 생략하는 것이 안전한가? 이는 후행 특징 맵이 경험적으로 입력 재구성에 정보를 제공하지 않는다는 점을 바탕으로 한다.

주요 결과

• Origami는 전체 VGG-19 모델을 SGX 내에서 실행하는 것에 비해 추론 성능을 15.1배 향상시켰으며, Slalom에서 보고한 11배 향상보다도 뚜렷이 뛰어나다.
• 무제한 추론 예산을 가진 조건부 GAN 적대자조차도 원본 입력을 재구성하지 못했으며, 이는 강력한 프라이버시 보장을 입증한다.
• 성능 향상의 핵심은 초기 블라인딩 단계 이후 대부분의 계산을 신뢰할 수 없는 GPU로 오프로딩함으로써 에이전트의 부담을 줄였기 때문이다.
• 후행 레이어에서 블라인딩에서 직접 실행으로 전환하는 동적 전환은 후행 특징 맵이 재구성 가능한 정보를 유출하지 않는다는 경험적 결과에 의해 정당화된다.
• Origami는 보안을 유지하면서도 근접 GPU 성능을 달성하여, SGX 대비 GPU 성능 격차를 105배에서 Origami를 사용할 경우 10배 이내로 줄였다.
• 이 프레임워크는 일반화 가능하며 Sanctum과 같은 다른 TEE 아키텍처로도 확장 가능하여 Intel SGX를 초월한 적용 가능성을 갖춘다.