[논문 리뷰] D3p -- A Python Package for Differentially-Private Probabilistic Programming

Lukas Prediger, Niki Loppi외 2명|arXiv (Cornell University)|2021. 03. 22.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 3

한 줄 요약

d3p는 다양한 개인정보 보호 기반 확률적 프로그래밍을 가능하게 하는 고성능 파이썬 패키지로, NumPyro 프레임워크와 통합된 차별적 개인 정보 보호 변분 추론(DP-VI)을 제공한다. GPU 가속 모델에서 텐서플로우 프라이버시 대비 약 10배의 성능 향상을 달성하면서도, 엄밀한 프라이버시 회계와 GPU 최적화 샘플링을 통해 유연하고 사용자 정의 확률 모델을 강력한 프라이버시 보장을 받으며 지원한다.

ABSTRACT

We present d3p, a software package designed to help fielding runtime efficient widely-applicable Bayesian inference under differential privacy guarantees. d3p achieves general applicability to a wide range of probabilistic modelling problems by implementing the differentially private variational inference algorithm, allowing users to fit any parametric probabilistic model with a differentiable density function. d3p adopts the probabilistic programming paradigm as a powerful way for the user to flexibly define such models. We demonstrate the use of our software on a hierarchical logistic regression example, showing the expressiveness of the modelling approach as well as the ease of running the parameter inference. We also perform an empirical evaluation of the runtime of the private inference on a complex model and find a $\sim$10 fold speed-up compared to an implementation using TensorFlow Privacy.

연구 동기 및 목표

• 인기 있는 프레임워크에서 차별적 개인 정보 보호 기반 확률적 추론을 위한 효율적이고 통합된 도구의 부족을 해결하기 위해.
• 사용자 우아한 고성능 구현을 제공함으로써 실무자들이 개인정보 보호 모델링을 채택하는 데 장벽을 낮추기 위해.
• 탭류 데이터 기반 개인정보 보호 모델의 빠른 프로토타이핑과 반복적 개발을 가능하게 하며, 종단 간 차별적 개인 정보 보장 기능을 제공하기 위해.
• 수정된 CUDA-Shuffle 알고리즘을 사용한 효율적인 미니배치 샘플링과 GPU 가속을 통해 성능을 최적화하기 위해.
• 차별적 개인 정보 보호 하에 미분 가능한 밀도를 가진 일반 목적의 매개변수 모델을 변분 추론을 통해 지원하기 위해.

제안 방법

• 핵심 추론 엔진으로 차별적 개인 정보 보호 이중 스토하스틱 변분 추론(DP-VI)을 구현한다.
• 파이썬 문법을 사용한 탄력적인 모델 정의를 허용하기 위해 NumPyro 확률적 프로그래밍 프레임워크와 통합한다.
• 고성능 런타임 성능을 달성하기 위해 자동 미분 및 GPU 가속을 위한 JAX 프레임워크를 활용한다.
• 프라이버시 파rameter(ε, δ)에 대한 날카로운 경계를 계산하기 위해 최신 기술의 프라이버시 회계 도구를 사용한다.
• 효율적인 GPU 기반 셔플링을 위해 CUDA-Shuffle 알고리즘의 수정된 버전을 사용한 미니배치 샘플링을 최적화한다.
• 성능에 민감한 환경에서 신뢰성 확보를 위해 GPU 최적화된 셔플링 루틴에 대한 확률적 런타임 분석을 제공한다.

실험 결과

연구 질문

• RQ1 최소한의 사용자 노력으로 일반 목적의 고성능 소프트웨어 패키지를 구축해 차별적 개인 정보 보호 기반 확률적 추론을 가능하게 할 수 있는가?
• RQ2 JAX 및 GPU 최적화된 DP-VI 구현의 성능은 기존 텐서플로우 기반 솔루션과 비교해 어떻게 되는가?
• RQ3 종단 간 차별적 개인 정보 보장 조건을 적용함에도 불구하고 확률적 프로그래밍의 표현력은 어느 정도 유지될 수 있는가?
• RQ4 정밀한 프라이버시 회계와 차별적 개인 정보 보장 하에 작동하는 미분 가능한 확률 모델 프레임워크의 통합은 실제로 얼마나 효과적인가?
• RQ5 실세계 모델에서 GPU 최적화된 개인정보 보호 기반 미니배치 샘플링을 통해 어떤 성능 향상을 얻을 수 있는가?

주요 결과

• d3p는 현대 GPU에서 동일한 DP-VI 모델을 텐서플로우 프라이버시 기반 구현 대비 약 10배 빠른 훈련 시간을 달성한다.
• d3p의 구현은 테스트 데이터에서 원본 DP-VI 코드와 유사하거나 略로 뛰어난 로그우도 성능을 기록하며, 런타임 간 분산이 크게 감소했다.
• 이 프레임워크는 사용자가 계층적 로지스틱 회귀나 변분 오토인코더와 같은 복잡한 모델을 최소한의 변경으로 표준 NumPyro 문법을 사용해 정의할 수 있도록 한다.
• 수정된 CUDA-Shuffle 알고리즘의 사용은 효율적인 GPU 기반 미니배치 샘플링을 가능하게 하여 전체 성능 향상에 기여한다.
• 엄밀한 프라이버시 회계 통합 덕분에 동일한 프라이버시 예산 조건에서도 정밀도가 낮은 회계 방법보다 더 높은 유용성을 달성할 수 있었다.
• 사용자가 모델을 수동으로 DP-SGD로 감싸거나 맞춤형 DP 레이어를 구현할 필요 없이 소프트웨어가 구현 부담을 줄였다.