[논문 리뷰] Shredder: Learning Noise to Protect Privacy with Partial DNN Inference on the Edge.

Fatemehsadat Mireshghallah, Mohammadkazem Taram외 3명|arXiv (Cornell University)|2019. 05. 26.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

Shredder는 모델이나 가중치를 수정하지 않고도 클라우드에서 DNN 추론 중 전송되는 데이터의 정보량을 줄이기 위해 가감성 노이즈 분포를 학습하는 엔드 투 엔드 프레임워크이다. 입력과 전송된 데이터 간의 상호정보량을 70.2% 감소시키면서도 정확도 손실은 1.46%에 불과하여, 성능 저하를 최소화하면서도 프라이버시를 보장하는 엣지 추론을 가능하게 한다.

ABSTRACT

A wide variety of DNN applications increasingly rely on the cloud to perform their huge computation. This heavy trend toward cloud-hosted inference services raises serious privacy concerns. This model requires the sending of private and privileged data over the network to remote servers, exposing it to the service provider. Even if the provider is trusted, the data can still be vulnerable over communication channels or via side-channel attacks [1,2] at the provider. To that end, this paper aims to reduce the information content of the communicated data without compromising the cloud service's ability to provide a DNN inference with acceptably high accuracy. This paper presents an end-to-end framework, called Shredder, that, without altering the topology or the weights of a pre-trained network, learns an additive noise distribution that significantly reduces the information content of communicated data while maintaining the inference accuracy. Shredder learns the additive noise by casting it as a tensor of trainable parameters enabling us to devise a loss functions that strikes a balance between accuracy and information degradation. The loss function exposes a knob for a disciplined and controlled asymmetric trade-off between privacy and accuracy. While keeping the DNN intact, Shredder enables inference on noisy data without the need to update the model or the cloud. Experimentation with real-world DNNs shows that Shredder reduces the mutual information between the input and the communicated data to the cloud by 70.2% compared to the original execution while only sacrificing 1.46% loss in accuracy.

연구 동기 및 목표

• 신뢰할 수 없는 채널을 통해 전송되는 민감한 데이터로 인해 발생하는 클라우드 기반 DNN 추론의 프라이버시 위험을 해결하기 위해.
• 추론 정확도를 떨어뜨리지 않고 전송되는 데이터의 정보량을 줄이기 위해.
• 입력 데이터에 학습 가능한 노이즈를 추가하여 엣지 디바이스에서 프라이버시를 보장하는 추론을 가능하게 하기 위해.
• 조절 가능한 손실 함수를 통해 프라이버시와 정확도 사이의 통제 가능하고 비대칭적인 트레이드오프를 제공하기 위해.
• 재학습이나 아키텍처 변경 없이도 원래 DNN 모델과 추론 파이프라인을 그대로 유지하기 위해.

제안 방법

• Shredder는 전송 전에 입력 데이터에 학습 가능한 노이즈 텐서를 추가하는 미분 가능한 노이즈 레이어를 도입한다.
• 노이즈 파rameter는 추론 정확도와 정보 손실의 균형을 맞추기 위해 맞춤형 손실 함수를 통해 최적화된다.
• 손실 함수는 모델 정확도와 상호정보량 감소 사이의 균형을 조절하기 위한 트레이드오프 계수를 포함한다.
• 프레임워크는 엔드 투 엔드로 작동하며, 원래의 DNN 아키텍처와 가중치를 유지하고 클라우드 모델의 재학습이 필요 없다.
• 손실 함수 내에서 미분 가능한 근사 방법을 사용해 입력과 전송된 데이터 간의 상호정보량을 최소화한다.
• 노이즈가 첨가된 입력을 처리함으로써 엣지에서 부분적 추론을 가능하게 하여 클라우드로 전송되는 데이터를 줄인다.

실험 결과

연구 질문

• RQ1 정확도를 떨어뜨리지 않고도 상당한 정보 泄露를 줄이기 위해 가감성 노이즈를 학습할 수 있는가?
• RQ2 학습 가능한 노이즈 메커니즘을 사용할 경우 입력과 전송된 데이터 간의 상호정보량을 어느 정도까지 줄일 수 있는가?
• RQ3 제안된 프레임워크는 프라이버시를 향상시키면서도 높은 추론 정확도를 유지하는 데 얼마나 효과적인가?
• RQ4 프라이버시와 정확도 사이의 트레이드오프를 체계적이고 제어 가능한 방식으로 조절하고 조정할 수 있는가?
• RQ5 프레임워크는 재학습이나 아키텍처 변경 없이도 기존 DNN 모델과 호환되는가?

주요 결과

• Shredder는 원래 DNN 추론 대비 입력과 전송된 데이터 간의 상호정보량을 70.2% 감소시켰다.
• 프레임워크는 추론 정확도가 단지 1.46% 떨어지며, 강력한 유틸리티-프라이버시 트레이드오프를 보여주었다.
• 이 방법은 아키텍처나 가중치를 수정하지 않아도 여러 실세계 DNN 모델에서 높은 정확도를 유지한다.
• 손실 함수는 조절 가능한 하이퍼파라미터를 통해 프라이버시와 정확도 사이의 통제 가능하고 비대칭적인 트레이드오프를 가능하게 한다.
• 이 방법은 엔드 투 엔드로 학습 가능하며, 기존 클라우드 기반 추론 파이프라인과 호환된다.
• 프레임워크는 클라우드로 전송되는 것이 노이즈가 첨가되고 정보량이 낮은 데이터뿐인 방식을 통해 엣지 디바이스에서 프라이버시를 보장하는 추론을 가능하게 한다.