[논문 리뷰] No Peek: A Survey of private distributed deep learning

Praneeth Vepakomma, Tristan Swedish외 3명|arXiv (Cornell University)|2018. 12. 08.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 46

한 줄 요약

이 논문은 no-peek 분산 딥러닝 방법들(splitNN, federated learning, and large-batch SGD)을 조사하고 데이터 누출 위험, 자원 비용, 향후 방향을 분석하며 DP, HE, 및 MPC와 같은 프라이버시 강화 기술을 포함한다.

ABSTRACT

We survey distributed deep learning models for training or inference without accessing raw data from clients. These methods aim to protect confidential patterns in data while still allowing servers to train models. The distributed deep learning methods of federated learning, split learning and large batch stochastic gradient descent are compared in addition to private and secure approaches of differential privacy, homomorphic encryption, oblivious transfer and garbled circuits in the context of neural networks. We study their benefits, limitations and trade-offs with regards to computational resources, data leakage and communication efficiency and also share our anticipated future trends.

연구 동기 및 목표

• 원시 클라이언트 데이터를 공유하지 않는 분산 딥러닝에서 no peek 개념을 정의한다.
• 데이터 누출, 모델 노출 및 자원 측면에서 분산 학습 접근법(splitNN, federated learning, large-batch SGD)을 비교한다.
• 차등 프라이버시, 동형 암호, MPC와 같은 프라이버시 강화 기법과 이들의 no-peek 방법과의 통합을 논의한다.
• 의료, 금융 및 분산 시스템에서의 실무 배치를 위한 트레이드오프 및 미래 동향을 강조한다.

제안 방법

• 데이터, 중간 표현, 모델 세부정보의 보호 수준에 따라 분산 딥러닝 방법을 분류한다.
• 데이터 노출 및 아키텍처적 비밀성에 근거하여 splitNN, federated learning, 및 large-batch SGD의 no peek 특성을 평가한다.
• 방법 간 계산량, 대역폭, 메모리, 동기화 등 자원 요건을 비교하고 splitNN의 효율 이점을 논의한다.
• 프라이버시 강화 기법(DP, HE, MPC)과 프라이빗 DL에의 적용 가능성을 요약한다.
• no-peek 방법과 DP, HE, MPC를 결합한 향후 방향 및 잠재적 하이브리드 접근법을 제시한다.

실험 결과

연구 질문

• RQ1 입력 데이터, 중간 표현, 모델 매개변수에 관해 서로 다른 분산 딥러닝 기법이 제공하는 보호 수준은 무엇인가?
• RQ2 데이터 누출 위험과 자원 효율성 측면에서 splitNN, federated learning, large-batch SGD는 어떻게 비교되는가?
• RQ3 유용성을 저하시킴 없이 보안 보장을 강화하기 위해 no-peek 학습에 어떤 프라이버시 보호 기술을 통합할 수 있는가?
• RQ4 프라이빗 분산 딥러닝의 실용적 미래 방향과 도메인 적용 영역은 무엇인가?

주요 결과

• SplitNN은 모델 아키텍처나 가중치를 공유하지 않음으로써 가장 강한 보호를 제공하는 반면, federated learning과 large-batch SGD는 더 많은 정보(그래디언트, 활성화, 가중치)를 공유한다.
• SplitNN은 일반적으로 클라이언트 측 자원(계산, 대역폭, 메모리)이 가장 낮고, 보고된 실험에서 다수의 클라이언트를 대상으로 다른 두 방법보다 더 높은 정확도를 달성한다.
• 클라이언트 간 데이터가 비 IID일 때 데이터 누출 위험이 발생할 수 있으며, 클라이언트 측 자원 요구가 더 높다; large-batch SGD는 대역폭과 계산 요구가 매우 크다.
• no-peek 방법과 차등 프라이버시, 동형 암호, MPC를 결합한 하이브리드 접근법은 더 강력한 프라이버시 보장을 위한 유망한 미래 방향으로 확인된다.
• Large-Batch SGD와 비교할 때 Federated Learning과 SplitNN은 통신 및 계산에서 서로 다른 트레이드오프를 보이며, SplitNN은 주목할 만한 클라이언트 측 효율성을 달성한다.
• CIFAR-10/100에서 VGG/ResNet 아키텍처로의 실험적 비교는 SplitNN의 클라이언트 측 자원 이점을 크게 보여준다.