[논문 리뷰] Collecting and Analyzing Multidimensional Data with Local Differential Privacy

Ning Wang, Xiaokui Xiao외 6명|arXiv (Cornell University)|2019. 06. 28.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 39

한 줄 요약

이 논문은 숫자형 및 다차원 데이터를 수집하기 위한 두 가지 새로운 LDP 메커니즘(Piecewise Mechanism 및 Hybrid Mechanism)을 도입하고, 그 최악의 경우 오차를 분석한 뒤 기계 학습 작업을 위한 LDP-호환 SGD에 적용한다.

ABSTRACT

Local differential privacy (LDP) is a recently proposed privacy standard for collecting and analyzing data, which has been used, e.g., in the Chrome browser, iOS and macOS. In LDP, each user perturbs her information locally, and only sends the randomized version to an aggregator who performs analyses, which protects both the users and the aggregator against private information leaks. Although LDP has attracted much research attention in recent years, the majority of existing work focuses on applying LDP to complex data and/or analysis tasks. In this paper, we point out that the fundamental problem of collecting multidimensional data under LDP has not been addressed sufficiently, and there remains much room for improvement even for basic tasks such as computing the mean value over a single numeric attribute under LDP. Motivated by this, we first propose novel LDP mechanisms for collecting a numeric attribute, whose accuracy is at least no worse (and usually better) than existing solutions in terms of worst-case noise variance. Then, we extend these mechanisms to multidimensional data that can contain both numeric and categorical attributes, where our mechanisms always outperform existing solutions regarding worst-case noise variance. As a case study, we apply our solutions to build an LDP-compliant stochastic gradient descent algorithm (SGD), which powers many important machine learning tasks. Experiments using real datasets confirm the effectiveness of our methods, and their advantages over existing solutions.

연구 동기 및 목표

• 로컬 차등 프라이버시(LDP) 하에서 다차원 데이터 수집의 격차를 동기 부여하고 해결한다.
• ε-LDP 하에서 숫자 속성에 대한 최악의 경우 잡음 분산을 더 잘 달성하는 메커니즘을 개발한다.
• 단일 속성 메커니즘을 다차원 숫자 및 범주형 데이터로 확장하고 강력한 프라이버시-유틸리티 보장을 제공한다.
• 머신러닝 작업을 위한 LDP-compliant 확률적 경사 하강법(SGD) 파이프라인 구축이라는 사례 연구를 제공한다.

제안 방법

• ε-LDP 하에서 단일 숫자 속성에 대한 경계가 있는 출력 및 데이터 의존적 조각별 노이즈로 Piecewise Mechanism(PM)을 제안한다.
• 최대 최악의 분산을 최소화하기 위해 PM과 Duchi et al.’s 접근법을 결합한 Hybrid Mechanism(HM)을 개발한다.
• PM과 HM을 다차원 데이터로 확장하고 속성의 부분 집합을 선택하고 조정된 프라이버시 예산으로 잡음을 섞는다(알고리즘 4).
• 숫자형과 범주형 속성의 혼합을 처리하기 위한 확장을 제공한다(섹션 IV-C).
• PM, HM 및 기존 방법의 최악의 경우 분산을 분석하고 다차원 설정에 대한 점근적 최적성을 확립한다.
• 제안된 메커니즘을 사용한 LDP-호환 SGD 프레임워크를 선형/로지스틱 회귀 및 SVM에 대해 데모한다.

실험 결과

연구 질문

• RQ1 ε-로컬 차등 프라이버시 하에서 Laplace 또는 기존 방법과 비교해 정확도를 개선한 숫자 데이터를 어떻게 수집할 수 있는가?
• RQ2 PM 및 HM을 다차원 숫자 및 범주형 데이터로 점근적으로 최적 오차 경계로 확장할 수 있는가?
• RQ3 제안된 메커니즘이 LDP 하에서 통계적 추정 및 그래디언트 기반 학습 tasks에 어떻게 실무적으로 성능을 발휘하는가?
• RQ4 속성 샘플링(알고리즘 4)이 고차원 데이터의 프라이버시-유틸리티 트레이드오프에 어떤 영향을 미치는가?
• RQ5 일반 ML 모델에 대한 LDP-호환 SGD 프레임워크에 메커니즘을 효과적으로 통합할 수 있는가?

주요 결과

• PM은 Laplace보다 최악의 경우 잡음 분산이 더 낮으며, 단일 차원 데이터에서 ε ≥ 약 1.29일 때 Duchi et al.’s 방법보다 종종 더 낫다.
• HM은 PM 및 Duchi et al.’s 접근법에 비해 모든 ε 구간에서 최악의 경우 분산이 더 나쁘지 않고 종종 더 낫다.
• 다차원 숫자 데이터로의 확장(알고리즘 4)은 점근적으로 최적의 오차를 달성하며(Duchi et al.’s bounds와 일치) 구현이 더 간단하다.
• 제안된 다차원 메커니즘은 숫자 속성과 범주형 속성의 혼합에도 강한 프라이버시 보장을 제공한다.
• PM/HM 구성요소로 구축된 LDP-호환 SGD 알고리즘이 실제 데이터 세트에서 선형/로지스틱 회귀 및 SVM과 같은 작업에 효과적임을 보인다.