[논문 리뷰] Not Just Privacy: Improving Performance of Private Deep Learning in Mobile Cloud

Ji Wang, Jianguo Zhang외 4명|arXiv (Cornell University)|2018. 09. 10.

Privacy-Preserving Technologies in Data인용 수 28

한 줄 요약

이 논문은 모바일 디바이스와 클라우드 간에 DNN을 분할함으로써 프라이버시와 추론 성능을 동시에 향상시키는 모바일-클라우드 딥러닝 프레임워크인 Arden을 제안한다. 데이터를 클라우드로 오프로딩하기 전에 경량 데이터 편향 기법—임의의 노이즈 추가 및 임의의 값 무효화—을 적용하며, 노이즈 훈련을 통해 강인성을 향상시켜 정확도를 유지하면서도 자원 소비를 최대 60% 감소시킨다.

ABSTRACT

The increasing demand for on-device deep learning services calls for a highly efficient manner to deploy deep neural networks (DNNs) on mobile devices with limited capacity. The cloud-based solution is a promising approach to enabling deep learning applications on mobile devices where the large portions of a DNN are offloaded to the cloud. However, revealing data to the cloud leads to potential privacy risk. To benefit from the cloud data center without the privacy risk, we design, evaluate, and implement a cloud-based framework ARDEN which partitions the DNN across mobile devices and cloud data centers. A simple data transformation is performed on the mobile device, while the resource-hungry training and the complex inference rely on the cloud data center. To protect the sensitive information, a lightweight privacy-preserving mechanism consisting of arbitrary data nullification and random noise addition is introduced, which provides strong privacy guarantee. A rigorous privacy budget analysis is given. Nonetheless, the private perturbation to the original data inevitably has a negative impact on the performance of further inference on the cloud side. To mitigate this influence, we propose a noisy training method to enhance the cloud-side network robustness to perturbed data. Through the sophisticated design, ARDEN can not only preserve privacy but also improve the inference performance. To validate the proposed ARDEN, a series of experiments based on three image datasets and a real mobile application are conducted. The experimental results demonstrate the effectiveness of ARDEN. Finally, we implement ARDEN on a demo system to verify its practicality.

연구 동기 및 목표

• 제한된 계산 능력을 지닌 모바일 디바이스에 자원 집약적인 딥 뉴럴 네트워크(DNN)를 구현하는 데 도전하는 것.
• 모바일-클라우드 딥러닝 시스템에서 클라우드 데이터 센터에 데이터를 오프로딩함으로써 발생하는 프라이버시 위험을 완화하는 것.
• 개인 정보 편향으로 인한 성능 저하에 대비해 클라우드 측 추론의 강인성을 향상시키는 것.
• 실용성, 효율성, 프라이버시 보장을 동시에 고려한 프레임워크를 설계하여 모바일-클라우드 DNN 배포에서 유틸리티와 보안의 균형을 이루는 것.

제안 방법

• Arden는 얕은 레이어를 모바일 디바이스에서 실행하고, 복잡하고 자원 소모가 큰 레이어는 클라우드에서 처리하도록 DNN을 분할한다.
• 클라우드로 데이터를 오프로딩하기 전에 경량 로컬 변환을 적용하여 입력 데이터에 임의의 값 무효화와 라플라스 노이즈 추가를 수행한다.
• 프레임워크는 차별적 프라이버시 기반의 엄격한 프라이버시 예산 분석을 활용하여, 편향된 데이터가 ε-차별적 프라이버시를 만족함을 증명하며, ε = ln[(1−μ)e^{2σ/Λ} + μ]로 표현된다.
• 노이즈 훈련을 도입하여 클라우드 측 네트워크의 편향된 입력에 대한 강인성을 향상시켜, 데이터 가림 처리에도 불구하고 추론 정확도를 향상시킨다.
• 노이즈가 네트워크 출력에 미치는 영향을 모델링하기 위해 일阶 테일러 근사법을 활용하여 이론적 프라이버시 보장을 가능하게 한다.
• 실용성과 시스템 수준의 오버헤드 측정을 위해 데모 시스템을 구현하였으며, 자원 소비가 60% 이상 감소한 것으로 나타났다.

실험 결과

연구 질문

• RQ1 모바일-클라우드 딥러닝 프레임워크는 높은 추론 정확도를 유지하면서도 사용자 프라이버시를 보존할 수 있는가?
• RQ2 노이즈 추가와 값 무효화를 통한 데이터 편향이 클라우드 측 DNN 추론 성능에 어떤 영향을 미치는가?
• RQ3 노이즈 훈련은 개인 정보 편향으로 인한 성능 저하를 효과적으로 완화할 수 있는가?
• RQ4 제안된 로컬 변환 메커니즘의 이론적 프라이버시 예산은 무엇인가?
• RQ5 이 프레임워크는 실제 모바일-클라우드 환경에서 자원 소비를 얼마나 줄일 수 있는가?

주요 결과

• Arden는 구현된 데모 시스템에서 자원 소비를 60% 이상 감소시켜 뚜렷한 효율성 향상을 입증했다.
• 제안된 노이즈 훈련 기법 덕분에 데이터 편향에도 불구하고 높은 추론 정확도를 유지한다.
• 이론적 분석을 통해 Arden가 ε = ln[(1−μ)e^{2σ/Λ} + μ]로 표현되는 ε-차별적 프라이버시를 만족함을 확인하여 강력한 프라이버시 보장을 제공한다.
• 세 개의 이미지 데이터셋과 실질적인 모바일 애플리케이션에서의 실험을 통해 Arden가 프라이버시와 성능의 균형을 효과적으로 유지하는 것으로 입증되었다.
• 값 무효화와 노이즈 추가의 통합은 정확도를 훼손하지 않으면서도 프라이버시를 향상시켜, 편향된 입력 조건에서도 강인한 추론 성능을 보였다.
• 기본 기반 기법 대비 프라이버시 보존과 추론 효율성 측면에서 모두 뛰어난 성능을 보이며, 실제 환경에서의 실용성을 입증했다.