[논문 리뷰] A generic framework for privacy preserving deep learning

Théo Ryffel, Andrew Trask외 5명|arXiv (Cornell University)|2018. 11. 09.

Cryptography and Data Security참고 문헌 2인용 수 341

한 줄 요약

본 논문은 PySyft 기반 추상화를 제시하여 PyTorch 유사 API 내에서 프라이버시를 보장하는 딥러닝(Federated Learning, Secure MPC, 차등 프라이버시)을 가능하게 하며, 텐서 체인 모델과 SPDZ 기반 MPC 및 DP 통합, 보스턴 주택(Boston Housing) 및 피마 인디언 당뇨(Pima Indians Diabetes) 데이터셋에 대한 실험 결과를 포함합니다.

ABSTRACT

We detail a new framework for privacy preserving deep learning and discuss its assets. The framework puts a premium on ownership and secure processing of data and introduces a valuable representation based on chains of commands and tensors. This abstraction allows one to implement complex privacy preserving constructs such as Federated Learning, Secure Multiparty Computation, and Differential Privacy while still exposing a familiar deep learning API to the end-user. We report early results on the Boston Housing and Pima Indian Diabetes datasets. While the privacy features apart from Differential Privacy do not impact the prediction accuracy, the current implementation of the framework introduces a significant overhead in performance, which will be addressed at a later stage of the development. We believe this work is an important milestone introducing the first reliable, general framework for privacy preserving deep learning.

연구 동기 및 목표

• Worker 간 Federated Learning을 가능하게 하는 표준화된 프로토콜 도입.
• 사이프Tensor(SyftTensor)라는 체인 추상화를 도입하여 프라이버시 보장 연산을 지원.
• 프레임워크 내에서 MPC(SPDZ) 및 Differential Privacy를 구현.
• 새로운 FL, MPC, DP 방법을 확장 가능하도록 아키텍처 제공.
• 표준 데이터셋에 대한 예비 실험으로 가능성 시연.

제안 방법

• LocalTensor와 PointerTensor로 체인 기반의 SyftTensor 추상화를 정의하여 체인 연산 및 원격 데이터 공유를 가능하게 함.
• 가상(Virtual), 소켓(Socket), WebSocket 등 가상 및 네트워크 워커를 구현하여 FL 시나리오를 시뮬레이션 및 배포.
• MPC 호환성을 위해 고정 소수점 인코딩을 갖춘 SPDZ 프로토콜 기반 MPCTensor를 개발.
• 그레이디언트 클리핑과 Gaussian 노이즈를 사용하는 Federated 학습 친화적 SGD 절차를 통해 차등 프라이버시를 도입.
• 정수 기반 MPC 계산에 맞춘 고정 정밀도 텐서를 사용하여 부동 소수점 데이터를 적응.
• DP 회계 및 위에 참조된 연구와 호환되는 sanitization을 제공.

실험 결과

연구 질문

• RQ1 통합된 텐서 체인 프레임워크가 PyTorch 유사 API와 함께 프라이버시 보장 기술(FL, MPC, DP)을 지원할 수 있는가?
• RQ2 이 프레임워크에서 Federated Learning 내 MPC 및 DP를 적용할 때 성능 및 정확도 트레이드오프는 어떤가?
• RQ3 가상 워커 및 다양한 네트워크 백엔드(Socket, WebSocket)가 FL 디버깅 및 브라우저 기반 실험을 어떻게 촉진하는가?
• RQ4 SPDZ 기반 MPC 및 가우시안 노이즈 DP가 표준 데이터셋에서 프라이버시를 얼마나 효과적으로 보존하면서 모델 품질을 유지하는가?

주요 결과

훈련 설정	훈련 시간 (초)	메모
PySyft (Virtual)	10.1
PySyft (Socket)	14.6
PySyft (Virtual) + DP*	15.3
Pure PyTorch	0.22

• 프레임워크가 PyTorch 워크플로우 내에서 프라이버시 보장 딥러닝 기술(FL, MPC, DP)을 가능하게 한다.
• DP를 이용한 학습은 오버헤드를 수반하며(Boston Housing에서 DP: 15.3초 대 비DP 10.1초), 프라이버시 매개변수에 따라 정확도/평균제곱오차가 영향을 받는다.
• 보스턴 주택 및 피마 인디언 당뇨 실험에서 DP는(0.5, 1e-5) 프라이버시 보장을 달성할 수 있으며 MSE는 약 29-30, 피마 정확도는 설정에 따라 60-70%에 도달한다.
• WebSocket 기반 및 가상 워커는 오버헤드가 허용 가능하여 FL에 대한 노트북 기반 실험을 검증한다.
• SPDZ 기반 MPC는 보안 공유 및 고정 정밀도 인코딩을 지원하여 프레임워크 내에서 MPC 기반의 신경망 계산을 가능하게 한다.