[논문 리뷰] Rényi Differential Privacy Mechanisms for Posterior Sampling

Joseph Geumlek, Shuang Song외 1명|arXiv (Cornell University)|2017. 10. 02.

Privacy-Preserving Technologies in Data참고 문헌 1인용 수 22

한 줄 요약

이 논문은 지수족 모형과 로지스틱 회귀와 같은 일반선형모형에서 사후 샘플링을 위한 새로운 레니 미분_privacy(RDP) 메커니즘을 제안한다. 사전 분포의 상대적 강도를 조절함으로써, 향상된 유틸리티를 유지하면서 조절 가능한 RDP 비밀유지 보장을 달성하며, 시뮬레이션 및 실제 데이터를 통한 실험으로 검증된다.

ABSTRACT

Using a recently proposed privacy definition of Rényi Differential Privacy (RDP), we re-examine the inherent privacy of releasing a single sample from a posterior distribution. We exploit the impact of the prior distribution in mitigating the influence of individual data points. In particular, we focus on sampling from an exponential family and specific generalized linear models, such as logistic regression. We propose novel RDP mechanisms as well as offering a new RDP analysis for an existing method in order to add value to the RDP framework. Each method is capable of achieving arbitrary RDP privacy guarantees, and we offer experimental results of their efficacy.

연구 동기 및 목표

• 베이지안 추론에서 사후 샘플링을 위한 레니 미분_privacy(RDP) 메커니즘이 제한적으로 이용 가능하다는 문제를 해결한다.
• 개별 데이터 포인트의 영향을 완화하기 위해 사전 분포가 어떻게 작용하는지 조사한다.
• 새로운 RDP 메커니즘을 개발하고 기존 방법에 대해 개선된 RDP 분석을 제공하여 베이지안 모형에서의 비밀유지 보장을 강화한다.
• 로지스틱 회귀와 같은 모형에서 사전 농도를 조절하면 유틸리티 손실을 최소화하면서 더 강력한 비밀유지를 달성할 수 있음을 보여준다.
• 시뮬레이션 및 실제 데이터 세트를 이용한 실험적 평가를 통해 제안된 메커니즘의 유효성을 검증한다.

제안 방법

• 지수족 분포에서 사후 샘플링을 위한 새로운 RDP 메커니즘을 제안하며, 사전의 농도를 활용하여 개별 데이터 포인트에 대한 민감도를 감소시킨다.
• 기존 사후 샘플링 방법에 대해 새로운 RDP 분석을 도입하여, 레니 발산 한계를 사용해 비밀유지 보장을 정교화한다.
• 이웃 데이터셋에서의 사후 분포 간 λ 순서의 레니 발산을 사용하여 비밀유지 분석을 수립함으로써, 비밀유지 조정의灵活性를 확보한다.
• 매개변수 공간을 분해하고 데이터 편향이 우도 비율에 미치는 영향을 분석함으로써, 로지스틱 회귀에 대한 레니 발산에 대한 폐쇄형 한계를 유도한다.
• 우도와 사전의 구조를 활용하여 서로 다른 데이터 차원에서의 기여를 분리함으로써 분석의 분리 가능성을 확보한다.
• 특히 로지스틱 회귀 우도 비율에 대해 중심극한정리 및 모멘트 생성 함수 기법을 사용하여 레니 발산 항목을 한계화한다.

실험 결과

연구 질문

• RQ1 지수족 모형에서 사후 샘플링을 위한 레니 미분_privacy(RDP) 보장을 강화하기 위해 사전 농도를 사용할 수 있는가?
• RQ2 사전 분포의 선택이 사후 샘플링 메커니즘의 비밀유지-유틸리티 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 기존 사후 샘플링 방법을 RDP 프레임워크 하에서 재분석하여 더 탴진 비밀유지 한계를 도출할 수 있는가?
• RQ4 데이터 차원 수와 특징 구조는 일반선형모형에서 사후 샘플링의 비밀유지 보장에 어떤 영향을 미치는가?
• RQ5 제안된 RDP 메커니즘은 실제 및 시뮬레이션 데이터에서 표준 사후 샘플링과 비교해 비밀유지 및 예측 유틸리티 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 RDP 메커니즘은 사전 농도 조절을 통해 임의의 RDP 비밀유지 보장을 달성하며, 비밀유지-유틸리티 트레이드오프의 유연한 조정이 가능하다.
• 로지스틱 회귀의 경우 RDP 분석 결과, 비밀유지 손실이 O(σ²c²(λ−1)/2)의 비율로 증가함을 보여주며, 여기서 c는 데이터 벡터의 ℓ2 노름이고 σ는 사전 분산을 제어하는 요소이다.
• 실험 결과, 제안된 메커니즘은 동일한 비밀유지 예산 하에서 표준 사후 샘플링보다 더 낮은 음의 로그우도를 기록함으로써 더 높은 유틸리티를 확보함을 보여준다.
• 편산 알고리즘은 음의 로그우도 측면에서 농도 조절 알고리즘을 초월하여 더 나은 일반화 성능을 보이며, RDP 제약 하에서 더 나은 성능을 발휘한다.
• Abalone, Adult, MNIST 3vs8 등의 데이터셋에서 제안된 방법은 강력한 예측 성능을 유지하면서도 더 탠진 RDP 한계를 확보한다.
• RDP 분석 결과, 비밀유지 손실은 편향된 데이터 포인트 기여에 의해 주로 결정되며, 나머지 데이터는 사전 덕분에 안정화 효과를 발휘한다.