[논문 리뷰] Shredder: Learning Noise Distributions to Protect Inference Privacy
Shredder는 중간 딥 네ural 네트워크(DNN) 활성화에 학습된 덧셈 노이즈 분포를 삽입하여 클라우드로 전송하기 전에 기밀성을 보존하는 프레임워크이다. 이는 정확한 추론을 가능하게 하면서도 클라우드로 유출되는 정보를 크게 줄인다. 모델나 추론 파이프라인을 수정하지 않고 별도의 오프라인 학습 과정을 통해 노이즈 분포를 최적화함으로써 입력과 전송된 데이터 간의 상호정보량을 74.70% 감소시키며, 정확도 손실은 오직 1.58%에 그친다.
A wide variety of deep neural applications increasingly rely on the cloud to perform their compute-heavy inference. This common practice requires sending private and privileged data over the network to remote servers, exposing it to the service provider and potentially compromising its privacy. Even if the provider is trusted, the data can still be vulnerable over communication channels or via side-channel attacks in the cloud. To that end, this paper aims to reduce the information content of the communicated data with as little as possible compromise on the inference accuracy by making the sent data noisy. An undisciplined addition of noise can significantly reduce the accuracy of inference, rendering the service unusable. To address this challenge, this paper devises Shredder, an end-to-end framework, that, without altering the topology or the weights of a pre-trained network, learns additive noise distributions that significantly reduce the information content of communicated data while maintaining the inference accuracy. The key idea is finding the additive noise distributions by casting it as a disjoint offline learning process with a loss function that strikes a balance between accuracy and information degradation. The loss function also exposes a knob for a disciplined and controlled asymmetric trade-off between privacy and accuracy. Experimentation with six real-world DNNs from text processing and image classification shows that Shredder reduces the mutual information between the input and the communicated data to the cloud by 74.70% compared to the original execution while only sacrificing 1.58% loss in accuracy. On average, Shredder also offers a speedup of 1.79x over Wi-Fi and 2.17x over LTE compared to cloud-only execution when using an off-the-shelf mobile GPU (Tegra X2) on the edge.
연구 동기 및 목표
- 신뢰할 수 없거나 손상된 클라우드 제공자에게 노출되는 민감한 사용자 데이터로 인해 증가하는 클라우드 기반 딥 러닝 추론의 기밀성 위험을 해결하기 위해.
- 특히 실시간 엣지 보조 추론 환경에서 추론 정확도를 떨어뜨리지 않으면서 클라우드로 전송되는 데이터의 정보량을 줄이기 위해.
- 모델 무결성을 유지하고 암호화 기법(예: 히든 리포지터리 암호화 또는 안전한 다중 당사자 계산)의 높은 계산 비용을 피하기 위해 경량이고 비침습적인 솔루션을 제공하기 위해.
- 수학적으로 근거가 있는 최적화 노브를 통해 기밀성과 정확도 사이의 조정 가능한 비대칭적 트레이드오프를 제공하기 위해.
- 기존 클라우드 모델을 수정하거나 재학습이 필요 없이 추론 단계에서만 작동하는 시스템을 설계하기 위해.
제안 방법
- Shredder는 노이즈 삽입을 별도의 오프라인 학습 과정으로 설정하며, 정확도와 정보 손실을 균형 잡는 미분 가능한 손실 함수를 사용해 노이즈 분포를 학습한다.
- 이 프레임워크는 모델 정확도와 입력 및 전송된 데이터 간의 상호정보량을 포함하는 복합 손실을 최소화함으로써, 구체적으로 라플라스 분포를 포함한 덧셈 노이즈 분포를 학습한다.
- 추론 중에는 엣지 장치가 사전에 학습된 노이즈 분포에서 샘플링하여 중간 DNN 활성화에 샘플된 노이즈 텐서를 더해 클라우드로 전송한다.
- 이 방법은 원래 DNN 아키텍처나 가중치를 수정하지 않으며, 클라우드의 추론 파이프라인을 그대로 유지하여 기존 모델과의 원활한 통합을 가능하게 한다.
- 손실 함수에는 사용자가 기밀성(정보 감소)과 정확도(모델 성능) 사이의 트레이드오프를 제어할 수 있는 하이퍼파라미터 노브가 포함되어 있다.
- 형식적인 수학적 분석을 통해 Shredder가 주어진 제약 조건 하에서 기밀성을 최대화하면서 정확도 저하를 최소화함을 증명하며, 트레이드오프에 대한 이론적 보장을 제공한다.
실험 결과
연구 질문
- RQ1딥 뉴럴 네트워크(DNN) 추론 중 클라우드로 전송되는 데이터의 정보량을 크게 떨어뜨리지 않으면서도 모델 정확도를 떨어뜨리지 않고 감소시킬 수 있는가?
- RQ2비침습적이고 종단 간 방식으로 기밀성과 정확도 사이의 최적 트레이드오프를 이루는 노이즈 분포를 어떻게 학습할 수 있는가?
- RQ3사전 훈련된 모델을 수정하거나 추론 중에 재학습이 필요 없이 이를 달성할 수 있는가?
- RQ4이러한 노이즈 삽입이 다양한 DNN에서 통신 효율성과 실제 성능에 어떤 영향을 미치는가?
- RQ5실제로 배포 가능한 시스템에서 기밀성-정확도 트레이드오프에 대한 공식적인 수학적 보장을 제공할 수 있는가?
주요 결과
- Shredder는 원본의 수정되지 않은 DNN 실행 대비 입력 데이터와 전송된 중간 특징 간의 상호정보량을 74.70% 감소시킨다.
- 이 프레임워크는 이미지 분류 및 텍스트 처리 워크로드에서 온전한 여섯 개의 실세계 DNN에서 평균 정확도 손실이 오직 1.58%에 그친다.
- 일반적인 모바일 GPU(Tegra X2)를 사용할 경우, Shredder는 와이파이 기반 기준으로 평균 1.79배, LTE 기준으로 평균 2.17배의 속도 향상을 기록한다. 이는 클라우드 전용 추론 대비 성능 향상이다.
- 노이즈는 기존 모델의 동작을 유지하는 미분 가능하고 종단 간 최적화 과정을 통해 학습되기 때문에 높은 유용성과 정확도를 유지한다.
- 손실 함수의 수학적 노브를 통해 사용자가 정보 유출 수준을 제어할 수 있는 조정 가능한 기밀성-정확도 트레이드오프를 제공한다.
- Shredder는 히든 리포지터리 암호화나 안전한 다중 당사자 계산과 같은 암호 기반 대안보다 뛰어난 성능을 보이며, 이들 기법은 금방이 되는 지연과 계산 오버헤드 문제를 앓고 있다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.