[논문 리뷰] Element Level Differential Privacy: The Right Granularity of Privacy

Hilal Asi, John C. Duchi외 1명|arXiv (Cornell University)|2019. 12. 05.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 9

한 줄 요약

이 논문은 개인 데이터 요소(예: 메시지나 사진의 특정 단어)를 보호하는 데 초점을 맞춘 보다 정교한 개인정보 보호 정의인 요소 수준의 차별적 비밀보장(ELDP)을 소개한다. 전체 사용자 기여물이 아닌 요소 수준의 차이를 기반으로 이웃 데이터셋을 재정의함으로써, ELDP는 통계적 추정 및 학습에서 더 강력한 유효성과 함께 엄격한 개인정보 보호 보장을 유지한다. 이는 대규모 모델(딥 네트워크 포함)에서 이론적 및 실증적 검증을 통해 비밀 보장 히스토GRAM 추정 및 M-추정에 의해 입증되었다.

ABSTRACT

Differential Privacy (DP) provides strong guarantees on the risk of compromising a user's data in statistical learning applications, though these strong protections make learning challenging and may be too stringent for some use cases. To address this, we propose element level differential privacy, which extends differential privacy to provide protection against leaking information about any particular "element" a user has, allowing better utility and more robust results than classical DP. By carefully choosing these "elements," it is possible to provide privacy protections at a desired granularity. We provide definitions, associated privacy guarantees, and analysis to identify the tradeoffs with the new definition; we also develop several private estimation and learning methodologies, providing careful examples for item frequency and M-estimation (empirical risk minimization) with concomitant privacy and utility analysis. We complement our theoretical and methodological advances with several real-world applications, estimating histograms and fitting several large-scale prediction models, including deep networks.

연구 동기 및 목표

• 전통적인 차별적 비밀보장이 전체 사용자 기여물을 보호하지만, 특정 데이터 요소만 민감한 응용 분야에서는 과도하게 엄격할 수 있다는 한계를 해결하기 위해.
• 사용자 참여가 아닌 특정 데이터 요소(예: 사용자가 특정 단어를 입력했는지 여부 등)에 대한 추론에 대비해 보호하는 새로운 개인정보 보호 정의인 요소 수준의 차별적 비밀보장(ELDP)을 제안하기 위해.
• 민감한 요소에 대해서만 강력한 보장을 유지하면서 비민감한 데이터 요소에 대한 개인정보 보호 조건을 완화함으로써, 사생활 보호 학습 및 추정에서 더 나은 통계적 유효성을 달성하기 위해.
• 항목 빈도 및 M-추정(경험 위험 최소화)을 포함한, ELDP 하에서의 사생활 보장 추정 및 학습을 위한 이론적 기초와 실용적 알고리즘을 개발하기 위해.
• 대규모 히스토GRAM 추정 및 비밀 보장 최적화를 사용한 딥 네트워크 학습을 포함한 실세계 응용을 통해 접근 방식을 실증적으로 검증하기 위해.

제안 방법

• 데이터 요소 간 히프만 거리(예: 메시지의 단어 수)를 기반으로 이웃 데이터셋을 재정의함으로써 요소 수준의 차별적 비밀보장을 정의한다. 두 데이터셋이 최대 한 개의 요소에서만 다를 경우 이웃으로 간주한다.
• 사용자 간에 다른 고유한 요소의 수를 기반으로 사용자 데이터에 대한 거리 함수를 도입함으로써, 사용자 수준이 아닌 요소 수준에서 개인정보 보장을 가능하게 한다.
• 요소 수준의 비밀보장 예산에 맞춰 노이즈를 조정하여 투입하는 방법을 사용해 항목 빈도(예: 단어 히스토GRAM 추정)를 위한 사생활 보장 추정 방법을 개발한다.
• 기울기 업데이트에 노이즈를 통합하여 경험 위험 최소화를 위한 사생활 보장 M-추정 알고리즘을 설계하며, ELDP 프레임워크 하에서 비밀보장 및 유효성 분석을 수행한다.
• 요소 수준의 비밀보장 회계를 사용하여 다양한 딥 네트워크를 포함한 대규모 모델을 사생활 보장 확률적 경사 하강법으로 훈련하기 위해 ELDP 프레임워크를 적용한다.
• 집중 불등식과 마틴갈레 이론을 사용해 사생활 보장 추정기의 기대 오차를 근사하여, 비밀보장 파rameter와 데이터 분포에 적절한 조건 하에서 수렴성을 입증한다.

실험 결과

연구 질문

• RQ1 전통적인 차별적 비밀보장이 전체 사용자 기여물을 보호하지만, 특정 단어나 이미지와 같은 개별 데이터 요소를 보호하기 위해 어떻게 재정의할 수 있는가?
• RQ2 기존 차별적 비밀보장과 비교해 볼 때, 요소 수준의 차별적 비밀보장은 어떤 이론적 개인정보 보장 보장과 유효성의 상충 관계를 가지는가?
• RQ3 실제 응용을 위해 요소 수준의 차별적 비밀보장 프레임워크 하에서 사생활 보장 추정 및 학습 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 요소 수준의 비밀보장은 고차원 설정에서 사생활 보장 학습 알고리즘의 표본 복잡도와 수렴성에 어떤 영향을 미치는가?
• RQ5 실세계 응용, 예를 들어 사생활 보장 히스토GRAM 추정 및 딥 네트워크 훈련에서 요소 수준의 차별적 비밀보장은 어떤 성능을 보이는가?

주요 결과

• 요소 수준의 차별적 비밀보장은 기존 차별적 비밀보장보다 더 세밀한 정도에서 의미 있는 개인정보 보장을 제공하며, 사용자가 특정 단어를 입력했는지 여부와 같은 특정 데이터 요소에 대한 추론에 대비한 보호를 가능하게 한다.
• 제안된 프레임워크는 민감한 요소가 아닌 전체 사용자 기여물을 보호하기 위해 비밀보장 예산을 낭비하지 않기 때문에, 사생활 보장 추정 작업에서 상당히 향상된 통계적 유효성을 달성할 수 있다.
• ELDP 하에서의 사생활 보장 히스토GRAM 추정은 특히 사용자 수 대비 고유한 요소의 수가 많을 경우 기존 DP보다 낮은 노이즈로 정확한 빈도 추정을 달성한다.
• ELDP 하에서의 사생활 보장 M-추정 및 딥 러닝은 기존 DP에서 요구되는 것보다 더 관용적인 비밀보장 파rameter를 사용해 경쟁적인 성능을 달성할 수 있음을 보여주며, 모델 정확도 저하를 줄인다.
• 이론적 분석 결과, ELDP 하에서 사생활 보장 추정기의 기대 오차는 요소 수와 비밀보장 파ram터에 따라 감소하는 속도를 보이며, 손실 함수에 대해 약한 모멘트 조건이 만족될 경우 수렴성이 입증된다.
• 대규모 데이터셋에 대한 실증 평가 결과, ELDP는 중간 정도의 비밀보장 예산 하에서도 깊은 신경망을 수용 가능한 정확도로 훈련시킬 수 있음을 확인하였으며, 유효성에서는 기존 DP를 능가하고 강력한 개인정보 보장 보장을 유지한다.