[논문 리뷰] Differentially Private Variational Inference for Non-conjugate Models

Joonas Jälkö, Onur Dikmen외 1명|arXiv (Cornell University)|2016. 10. 27.

Privacy-Preserving Technologies in Data인용 수 12

한 줄 요약

이 논문은 비공액 모델에서 사전 베이지안 추론을 위한 일반적인 방법인 차별적 개인 정보 보호 변분 추론(DPVI)을 제안한다. 이중 스토하스틱 변분 추론 내에서 기울기 클리핑과 편향을 적용함으로써, DPVI는 강력한 개인 정보 보호 보장을 받는 동안 비사전 추론에 가까운 정확도를 달성하며, DP-SGLD와 같은 샘플링 기반 대안보다 우수한 성능을 보인다.

ABSTRACT

Many machine learning applications are based on data collected from people, such as their tastes and behaviour as well as biological traits and genetic data. Regardless of how important the application might be, one has to make sure individuals' identities or the privacy of the data are not compromised in the analysis. Differential privacy constitutes a powerful framework that prevents breaching of data subject privacy from the output of a computation. Differentially private versions of many important Bayesian inference methods have been proposed, but there is a lack of an efficient unified approach applicable to arbitrary models. In this contribution, we propose a differentially private variational inference method with a very wide applicability. It is built on top of doubly stochastic variational inference, a recent advance which provides a variational solution to a large class of models. We add differential privacy into doubly stochastic variational inference by clipping and perturbing the gradients. The algorithm is made more efficient through privacy amplification from subsampling. We demonstrate the method can reach an accuracy close to non-private level under reasonably strong privacy guarantees, clearly improving over previous sampling-based alternatives especially in the strong privacy regime.

연구 동기 및 목표

• 임의의 비공액 베이지안 모델에 적용 가능한 일반적이고 효율적이며 차별적 개인 정보 보호 추론 방법을 개발하기 위해.
• 기존의 개인 정보 보호 베이지안 추론 방법은 지수족 모델에 국한되거나 높은 개인 정보 보호 예산 소비 문제를 겪는 한계를 극복하기 위해.
• 이중 스토하스틱 변분 추론을 차별적 개인 정보 보호와 함께 적용하여 복잡한 모델에서 실용적인 개인 정보 보호 추론을 가능하게 하기 위해.
• 강력한 개인 정보 보호 제약 조건(낮은 ε) 하에서도 DPVI가 비사전 변분 추론에 가까운 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• DPVI는 개별 데이터 포인트 기울기 수준에서 기울기 클리핑과 편향을 통해 차별적 개인 정보 보존을 통합함으로써 이중 스토하스틱 변분 추론을 확장한다.
• 감도를 제한하기 위해 임계값 $ c_t $ 를 사용한 기울기 클리핑을 적용한 후, ε-차별적 개인 정보 보존을 확보하기 위해 클리핑된 기울기에 라플라스 또는 가우시안 노이즈를 추가한다.
• 하나의 기울기 업데이트당 개인 정보 보호 예산을 줄이기 위해 서브샘플링을 통한 개인 정보 보존 강화 기법을 활용한다.
• 변분 사후분포는 완전 분할된 분포를 사용하여 근사한다: $ q(\pi) $ 는 가우시안에 대한 소프트맥스 변환을 통해, $ q(\mu) $ 는 대각 행렬 가우시안으로, $ q(τ) $ 는 로그정규분포로 표현된다.
• 변분 하한(ELBO)을 최적화하기 위해 스토하스틱 기울기 상승법을 사용하며, 개인 정보 보장을 확보하기 위해 기울기에 노이즈를 추가한다.
• 평가 시 예측 가능도를 근사하기 위해 몬테카를로 적분을 사용하고, 이 방법은 베이지안 로지스틱 회귀 및 가우시안 믹스 모델에서 검증되었다.

실험 결과

연구 질문

• RQ1 비공액 모델에 대해 일반적이고 효율적인 차별적 개인 정보 보존 변분 추론 방법을 개발할 수 있는가?
• RQ2 강력한 개인 정보 보존 조건 하에서 DP-SGLD와 같은 샘플링 기반 개인 정보 보존 추론 방법과 비교해 DPVI의 성능은 어떠한가?
• RQ3 서브샘플링을 통한 개인 정보 보존 강화는 차별적 개인 정보 보존 변분 추론의 효율성을 어느 정도 향상시킬 수 있는가?
• RQ4 DPVI에서의 기울기 클리핑이 변분 목표 함수의 최적화 경로나 정적점에 상당한 영향을 미치는가?

주요 결과

• DPVI는 낮은 개인 정보 보호 예산(예: ε = 1)에서도 비사전 기준에 가까운 예측 가능도를 달성하여 강력한 유틸리티-개인정보 보호 트레이드오프를 보였다.
• 가우시안 믹스 모델의 경우, DPVI는 구성 요소의 위치와 형태 측면에서 DP-SGLD보다 실제값에 더 가까운 사후 예측 분포를 학습했다.
• 개인 정보 보존 요구 조건이 더 유연한 경우(높은 ε)에는 DP-SGLD가 예측 가능도 측면에서 DPVI를 능가했지만, 강력한 개인 정보 보존 제약 조건(낮은 ε) 하에서는 DPVI가 훨씬 뛰어난 성능을 보였다.
• 서브샘플링 비율 $ q = 0.003 $ 을 사용함으로써 반복당 개인 정보 보호 예산을 크게 줄여 안정적이고 효율적인 최적화를 가능하게 하였다.
• 수렴 단계에서도 기울기 클리핑이 유지되었는데, 이는 각 데이터 포인트 기울기에 대해 적용되기 때문에 최적화 동역학에 계속 영향을 미친다.
• 더 단순한 사후 근사(예: 대각 공분산 가우시안)가 DP 하에서 더 효과적이었는데, 이는 파라미터 노름이 작기 때문이며, 이는 모델 단순화가 개인 정보 보존 효율성을 향상시킬 수 있음을 시사한다.