[논문 리뷰] Label differential privacy via clustering

Hossein Esfandiari, Vahab Mirrokni외 2명|arXiv (Cornell University)|2021. 10. 05.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 4

한 줄 요약

이 논문은 특성 기반으로 학습 예제를 군집화하고, 군집 인식 랜덤화 응답을 레이블에 적용하여 비밀성-유용성 트레이드오프를 향상시키는 새로운 레이블 차별적 프라이버시 메커니즘을 제안한다. 레이블을 동일한 군집의 레이블로 대체함으로써, 군집이 크고 균일할 경우 비공개 학습과 유사한 초과 위험을 달성하며, 실험적으로 균일한 랜덤화 응답과 DP-SGD보다 뛰어난 성능을 보인다.

ABSTRACT

We present new mechanisms for \emph{label differential privacy}, a relaxation of differentially private machine learning that only protects the privacy of the labels in the training set. Our mechanisms cluster the examples in the training set using their (non-private) feature vectors, randomly re-sample each label from examples in the same cluster, and output a training set with noisy labels as well as a modified version of the true loss function. We prove that when the clusters are both large and high-quality, the model that minimizes the modified loss on the noisy training set converges to small excess risk at a rate that is comparable to the rate for non-private learning. We describe both a centralized mechanism in which the entire training set is stored by a trusted curator, and a distributed mechanism where each user stores a single labeled example and replaces her label with the label of a randomly selected user from the same cluster. We also describe a learning problem in which large clusters are necessary to achieve both strong privacy and either good precision or good recall. Our experiments show that randomizing the labels within each cluster significantly improves the privacy vs. accuracy trade-off compared to applying uniform randomized response to the labels, and also compared to learning a model via DP-SGD.

연구 동기 및 목표

• 모든 특성의 보호가 요구되는 표준 차별적 프라이버시 기반 기계학습에서의 열악한 프라이버시-유용성 트레이드오프 문제를 해결하기 위해, 레이블만 보호하는 데 초점을 맞춘다.
• 특성 기반 군집화를 통해 레이블 프라이버시를 유지하면서도 높은 유용성의 모델 학습을 가능하게 하는 메커니즘을 설계한다.
• 사용자가 군집별 레이블 분포를 사용해 로컬로 레이블을 노이즈 처리할 수 있는 중심화된 및 분산형 프로토콜을 개발한다.
• 이론적 및 실험적으로 군집의 품질과 크기가 프라이버시-유용성 트레이드오프에 미치는 영향을 입증한다.
• 강력한 프라이버시를 확보하면서도 높은 모델 정밀도 또는 재현율을 달성하기 위해 큰 크기의 낮은 이질성 군집이 필수적임을 보여준다.

제안 방법

• 학습 예제를 비공개 특성 벡터를 기반으로 군집화하여 유사한 데이터 포인트를 묶는다.
• 모든 레이블을 균일하게 선택하는 대신, 동일한 군집의 레이블 분포에서 선택된 레이블로 대체하는 랜덤화 응답의 변종을 적용한다.
• 레이블 노이즈를 보정할 수 있도록 수정된 손실 함수를 구성하여, 노이즈가 섞인 데이터에서 정확한 모델 학습을 가능하게 한다.
• 신뢰할 수 있는 캘린더가 군집 통계를 사용해 레이블 랜덤화를 수행하는 중심화된 메커니즘을 설계한다.
• 각 사용자가 동일한 군집 내에서 무작위 선택된 피어의 레이블에서 노이즈가 섞인 레이블을 샘플링하는 피어 투 피어 분산 메커니즘을 설계한다.
• 군집 내 레이블 분포 유사도를 측정하는 군집 이질성 φ를 정의하며, 이는 프라이버시와 유용성에 영향을 준다.

실험 결과

연구 질문

• RQ1 균일한 랜덤화 응답과 비교해 레이블 랜덤화 기반 군집화가 차별적 프라이버시 기반 학습의 프라이버시-유용성 트레이드오프를 향상시킬 수 있는가?
• RQ2 군집 크기와 균일성이 군집 노이즈가 가해진 데이터로 학습된 모델의 초과 위험에 어떤 영향을 미치는가?
• RQ3 중앙 캘린더 없이도 피어 투 피어 분산 메커니즘이 레이블 차별적 프라이버시를 달성할 수 있는가?
• RQ4 다양한 프라이버시 및 데이터 품질 파rameter 하에서 제안된 메커니즘의 이론적 초과 위험 한계는 무엇인가?
• RQ5 군집이 작거나 이질적인 경우, 프라이버시, 정밀도, 재현율 간의 근본적인 트레이드오프가 존재하는가?

주요 결과

• 중앙화된 메커니즘은 φ가 작거나 ε가 클 경우 비공개 학습 속도에 맞는 초과 위험 Õ(K√(d/n) + K²φ/(1+(e^ε−1)φ))를 달성한다.
• 피어 투 피어 메커니즘은 (ε,1/s²)-레이블 차별적 프라이버시를 만족하며, 이진 분류의 경우 초과 위험은 Õ(√(d/(εn)) + φ)이다.
• 실험 결과, 군집 기반 레이블 랜덤화가 균일한 랜덤화 응답과 DP-SGD에 비해 프라이버시-정확도 트레이드오프를 크게 향상시킨다.
• 이론적 분석을 통해 강력한 프라이버시를 확보하면서도 높은 정밀도 또는 재현율을 달성하기 위해서는 큰 군집, 특히 비노이즈 레벨이 높은 군집 이질성 φ가 필요하다는 것을 입증한다.
• 고정된 ε에 대해 군집이 너무 작다면 정밀도 φ 또는 재현율 η는 반드시 비상수일 수밖에 없으며, 이는 근본적인 트레이드오프를 시사한다.
• 메커니즘의 성능은 더 큰 군집 크기와 낮은 군집 이질성에 따라 향상되며, 좋은 군집화의 중요성을 검증한다.