[논문 리뷰] Locally Differentially Private Data Collection and Analysis

Teng Wang, Jun Zhao외 2명|arXiv (Cornell University)|2019. 06. 05.

Privacy-Preserving Technologies in Data참고 문헌 56인용 수 8

한 줄 요약

이 논문은 $(\epsilon,\delta)$-LDP 모델 하에서 다차원 수치형 및 범주형 데이터에 대해 새로운 국소적 미분적 비밀유지(LDP) 기법을 제안하며, 기존의 가우시안 기반 기법보다 더 높은 데이터 유용성을 달성한다. 제안된 기법은 통계적 추정 및 기계학습 작업 전반에서 최적의 가우시안 기법보다 높은 정확도를 보이며, 강력한 비밀유지 보장을 유지하면서도 평균/빈도 추정 및 모델 정확도에서 뚜렷한 향상을 보인다.

ABSTRACT

Local differential privacy (LDP) can provide each user with strong privacy guarantees under untrusted data curators while ensuring accurate statistics derived from privatized data. Due to its powerfulness, LDP has been widely adopted to protect privacy in various tasks (e.g., heavy hitters discovery, probability estimation) and systems (e.g., Google Chrome, Apple iOS). Although $ε$-LDP has been proposed for many years, the more general notion of $(ε, δ)$-LDP has only been studied in very few papers, which mainly consider mean estimation for numeric data. Besides, prior solutions achieve $(ε, δ)$-LDP by leveraging Gaussian mechanism, which leads to low accuracy of the aggregated results. In this paper, we propose novel mechanisms that achieve $(ε, δ)$-LDP with high utility in data analytics and machine learning. Specifically, we first design $(ε, δ)$-LDP algorithms for collecting multi-dimensional numeric data, which can ensure higher accuracy than the optimal Gaussian mechanism while guaranteeing strong privacy for each user. Then, we investigate different local protocols for categorical attributes under $(ε, δ)$-LDP. Furthermore, we conduct theoretical analysis on the error bound and variance of the proposed algorithms. Experimental results on real and synthetic datasets demonstrate the high data utility of our proposed algorithms on both simple data statistics and complex machine learning models.

연구 동기 및 목표

• 신뢰할 수 없는 데이터 통합자 환경에서 다차원 데이터에 대한 효과적인 $(\epsilon,\delta)$-LDP 기법의 부족을 해결하기 위해.
• 수치형 및 범주형 속성 모두에서 가우시안 기법을 능가하는 기법을 설계하여 국소적 미분적 비밀유지에서 데이터 유용성을 향상시키기 위해.
• 이론적 오차 및 분산 경계를 제공함으로써 $(\epsilon,\delta)$-LDP 하에서 정확한 통계적 추정 및 기계학습을 가능하게 하기 위해.
• 다양한 분석 및 기계학습 워크로드에서 실제 및 합성 데이터셋을 대상으로 제안된 기법의 실용적 우수성을 입증하기 위해.

제안 방법

• $(\epsilon,\delta)$-LDP 하에서 다차원 수치형 데이터에 대해 Mechanism-1과 Mechanism-2를 제안하며, 분산을 최소화하기 위해 특화된 노이즈 주입 전략을 사용한다.
• $(\epsilon,\delta)$-LDP 하에서 범주형 속성에 대한 국소 프로토콜을 설계하며, 다중 값의 범주를 효율적인 개인정보 보호를 위해 이진 벡터로 변환한다.
• 범주형 데이터에 대해 랜덤라이즈드 리스폰스 기반 접근법을 활용하여 강력한 비밀유지를 확보하면서도 데이터 유용성을 유지한다.
• 국소 비밀유지 하에서 기계학습 모델을 훈련하기 위해 제안된 기법을 확률적 경사 하강법(SGD)에 통합한다.
• 이론적 분석을 통해 제안된 기법의 渐近적 오차 경계 및 최소 분산 성질을 유도한다.
• 도메인 특화 노이즈 캘리브레이션을 활용하여 비밀유지와 유용성의 균형을 이루며, 가우시안 기법에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 다차원 수치형 데이터에 대해 최적의 가우시안 기법보다 더 높은 유용성을 달성하는 $(\epsilon,\delta)$-LDP 기법을 설계할 수 있는가?
• RQ2 어떻게 하면 $(\epsilon,\delta)$-LDP 하에서 범주형 속성을 효율적이고 안전하게 인코딩하여 데이터 유용성을 유지할 수 있는가?
• RQ3 제안된 기법은 기존 방법에 비해 평균 및 빈도 추정의 정확도를 어느 정도 향상시키는가?
• RQ4 제안된 기법은 국소 비밀유지 하에서 선형 회귀, 로지스틱 회귀 및 SVM과 같은 복잡한 기계학습 모델을 높은 유용성으로 지원할 수 있는가?
• RQ5 $(\epsilon,\delta)$-LDP 하에서 제안된 기법의 이론적 오차 및 분산 행동은 어떠한가?

주요 결과

• 선형 회귀에서 Mechanism-1과 Mechanism-2는 최적의 가우시안 기법(Opt-GM)보다 훨씬 낮은 평균제곱오차(MSE)를 달성하며, $\epsilon$이 증가할수록 이는 더욱 두드러진다.
• 로지스틱 회귀 및 SVM 분류에서 제안된 기법은 $\epsilon \geq 5$일 때 Opt-GM보다 비밀유지되지 않은 기준에 훨씬 가까운 오분류율을 달성한다.
• 합성 데이터에서 제안된 기법은 다양한 도메인 크기 $k$에서 Opt-GM보다 낮은 오차로 빈도 추정에서 뛰어난 정확도를 보였다.
• 이론적 분석을 통해 제안된 기법이 낮은 渐近적 오차 경계와 최소 분산 성질을 확보하며, 이론적으로도 가우시안 기법을 능가함을 확인했다.
• 실제 데이터셋(MX 및 BR)에 대한 실험 결과, 다양한 비밀유지 예산 하에서 모든 세 가지 학습 작업에서 모델 정확도가 일관되게 향상됨을 입증했다.
• 낮은 $\epsilon$ 값에서도 제안된 기법은 높은 데이터 유용성을 유지하며, $\epsilon$이 클수록 비밀유지되지 않은 기준에 가까운 성능을 보였다.