[논문 리뷰] PrivyNet: A Flexible Framework for Privacy-Preserving Deep Neural Network Training

Meng Li, Liangzhen Lai외 3명|arXiv (Cornell University)|2017. 09. 18.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 28

한 줄 요약

PrivyNet는 DNN를 로컬 특징 추출기와 클라우드 기반 분류기로 분할하는 프라이버시 보장형 딥러닝 프레임워크입니다. 사전 훈련된 네트워크를 사용해 중간 표현을 생성하며, LDA 기반 프루닝을 통해 로컬 네트워크의 아키텍처를 최적화함으로써 무작위 선택 대비 1.1% 높은 정확도와 1.25 dB 낮은 PSNR(프라이버시 泄露 감소를 나타냄)를 달성하여 자원 제약이 있는 디바이스에서 높은 유틸리티-프라이버시 트레이드오프를 가능하게 합니다.

ABSTRACT

Massive data exist among user local platforms that usually cannot support deep neural network (DNN) training due to computation and storage resource constraints. Cloud-based training schemes provide beneficial services but suffer from potential privacy risks due to excessive user data collection. To enable cloud-based DNN training while protecting the data privacy simultaneously, we propose to leverage the intermediate representations of the data, which is achieved by splitting the DNNs and deploying them separately onto local platforms and the cloud. The local neural network (NN) is used to generate the feature representations. To avoid local training and protect data privacy, the local NN is derived from pre-trained NNs. The cloud NN is then trained based on the extracted intermediate representations for the target learning task. We validate the idea of DNN splitting by characterizing the dependency of privacy loss and classification accuracy on the local NN topology for a convolutional NN (CNN) based image classification task. Based on the characterization, we further propose PrivyNet to determine the local NN topology, which optimizes the accuracy of the target learning task under the constraints on privacy loss, local computation, and storage. The efficiency and effectiveness of PrivyNet are demonstrated with the CIFAR-10 dataset.

연구 동기 및 목표

• 자원 제약이 있는 로컬 디바이스에서 딥 뉴럴 네트워크를 훈련하는 데 도전하는 문제를 해결하기 위해.
• 원시 사용자 데이터를 전송하지 않고도 클라우드 기반 DNN 훈련을 가능하게 하여 과도한 데이터 수집으로 인한 프라이버시 위험을 줄이기 위해.
• 사용자 정의 가능한 로컬 네트워크 아키텍처를 통해 유틸리티와 프라이버시 간의 탄력적이고 세밀한 트레이드오프를 달성하기 위해.
• 다양한 컴퓨팅 및 스토리지 능력을 가진 다양한 플랫폼에 적합한 경량이며 구현 가능한 프레임워크를 설계하기 위해.
• 로컬 네트워크가 재훈련이 필요로 하지 않도록 하여 프라이버시를 유지하고 계산 오버헤드를 줄이기 위해.

제안 방법

• DNN를 두 부분으로 분할: 로컬 신경망(모델)은 특징 추출을 담당하고, 클라우드 기반 신경망은 작업에 특화된 훈련을 수행.
• 로컬 신경망을 사전 훈련된 모델(예: VGG16)에서 유도하여 로컬 훈련을 방지하고 일반 목적의 특징을 통합.
• 비선형적이고 손실이 있는 연산(컨볼루션, 풀링)을 로컬 신경망에 적용하여 데이터를 프라이버시를 보호하는 중간 표현으로 변환.
• 선형 판별 분석(LDA) 기반의 감독형 프루닝 전략을 적용하여 로컬 신경망의 최적 채널을 선택함으로써 유틸리티 향상과 프라이버시 泄露 감소를 달성.
• 출력층과 중간층 모두에서 채널 선택을 도입하여 잠재적 공격자가 로컬 신경망의 구조를 추론하는 것을 어렵게 함.
• 프라이버시 손실과 정확도가 로컬 신경망 아키텍처에 따라 어떻게 영향을 받는지 모델링하기 위한 특성 기반 프레임워크를 도입하여 제약 조건 하에서 아키텍처 최적화 가능.

실험 결과

연구 질문

• RQ1 로컬 신경망의 아키텍처가 분할 DNN 훈련에서 프라이버시 泄露와 분류 정확도 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ2 사전 훈련된 네트워크를 고정된 특징 추출기로 효과적으로 재사용하여 로컬 훈련을 피할 수 있는가, 동시에 높은 유틸리티를 유지할 수 있는가?
• RQ3 LDA 기반 감독형 프루닝이 랜덤 또는 특성 기반 프루닝에 비해 유틸리티-프라이버시 트레이드오프를 얼마나 향상시킬 수 있는가?
• RQ4 중간층에서의 채널 선택은 성능 저하 없이 로컬 네트워크의 익명성을 어떻게 향상시키는가?
• RQ5 프루닝이 로컬 계산 비용에 어떤 영향을 미치며, 유틸리티나 프라이버시 泄露를 희생시키지 않고도 이를 크게 줄일 수 있는가?

주요 결과

• LDA 기반 프루닝 전략은 프루닝 없이 무작위 선택한 경우보다 1.1% 높은 분류 정확도와 1.25 dB 낮은 PSNR(프라이버시 泄露 감소를 나타냄)를 달성.
• 특성 기반 프루닝과 비교했을 때 LDA 기반 방법은 정확도는 유사(0.5% 이내)했지만 프라이버시 손실이 0.45 dB 더 적어 효율성이 뛰어남.
• 로컬 신경망의 첫 번째 컨볼루션 레이어를 64채널에서 16채널로 프루닝함으로써 런타임이 크게 감소했고, 정확도나 프라이버시에 미치는 영향은 최소한이었음.
• 모든 컨볼루션 레이어를 점진적으로 프루닝(깊이를 반으로 줄임)함으로써 유사한 정확도와 프라이버시 수준을 유지하면서 로컬 계산을 극적으로 감소.
• 중간층에서의 채널 선택은 로컬 네트워크의 익명성을 크게 향상시켜, 사전 훈련된 모델이 알려져 있더라도 공격자가 네트워크 구조를 추론하기 어려움.
• 다양한 환경에서 유틸리티와 프라이버시를 효과적으로 균형 잡은 프레임워크로, 실증 결과를 통해 자원 및 프라이버시 제약 조건 하에서 아키텍처 최적화의 효과성을 확인함.