[논문 리뷰] Differential Privacy Has Disparate Impact on Model Accuracy

Eugene Bagdasaryan, Vitaly Shmatikov|arXiv (Cornell University)|2019. 05. 28.

Privacy-Preserving Technologies in Data참고 문헌 38인용 수 77

한 줄 요약

이 논문은 DP-SGD가 정확도를 고르게 감소시키지 못하고, 대표성이 낮은 하위집단과 복잡한 데이터에 더 큰 해를 끼치며, 잘 대표된 집단에 비해 불평등을 악화시킬 수 있음을 보여준다.

ABSTRACT

Differential privacy (DP) is a popular mechanism for training machine learning models with bounded leakage about the presence of specific points in the training data. The cost of differential privacy is a reduction in the model's accuracy. We demonstrate that in the neural networks trained using differentially private stochastic gradient descent (DP-SGD), this cost is not borne equally: accuracy of DP models drops much more for the underrepresented classes and subgroups. For example, a gender classification model trained using DP-SGD exhibits much lower accuracy for black faces than for white faces. Critically, this gap is bigger in the DP model than in the non-DP model, i.e., if the original model is unfair, the unfairness becomes worse once DP is applied. We demonstrate this effect for a variety of tasks and models, including sentiment analysis of text and image classification. We then explain why DP training mechanisms such as gradient clipping and noise addition have disproportionate effect on the underrepresented and more complex subgroups, resulting in a disparate reduction of model accuracy.

연구 동기 및 목표

• DP-SGD를 통한 차등 프라이버시가 하위집단과 데이터 복잡도 전반에 걸친 정확도에 어떤 영향을 미치는지 조사하게 한다.
• 여러 과제에 걸쳐 DP 훈련이 대표성이 낮은 클래스와 하위집단에 비례적으로 더 큰 해를 끼친다는 것을 경험적으로 입증한다.
• 대표성이 낮은 데이터에 대한 편향을 확대하는 메커니즘(그래디언트 클리핑과 노이즈)을 설명한다.
• 사전 존재하는 모델의 불공정성과 프라이버시로 인한 정확도 저하 간의 상호 작용을 강조한다.

제안 방법

• 모먼트 어카운터를 이용한 프라이버시 추적과 함께 그래디언트 클리핑 및 가우시안 노이즈를 사용한 DP-SGD를 구현한다.
• 얼굴의 성별/나이 분류, 트윗의 감정 분석, 종(classification) 분류, 연합 학습 언어 모델링 등 과제에 걸친 광범위한 실험을 수행한다.
• 하이퍼파라미터(S 클리핑 경계, 노이즈 스케일, 배치 크기, 에포크 수)를 조정하여 하위집단 정확도에 미치는 영향을 연구한다.
• 클래스별 그래디언트 노름과 클리핑/노이즈가 대표성이 낮은 그룹에 미치는 영향을 분석한다.
• MNIST 기반 실험을 사용하여 하이퍼파라미터가 어떻게 차별적 영향을 좌우하는지 보여준다.
• 타깃 수준 이내로 epsilon을 유지하기 위해 Rényi DP를 사용하여 프라이버시 손실을 측정한다.

실험 결과

연구 질문

• RQ1 DP-SGD가 대표성이 낮은 하위집단에서 더 큰 정확도 저하를 야기하는가, 아니면 잘 대표된 집단과 비교해?
• RQ2 DP-SGD의 그래디언트 클리핑과 노이즈가 그래디언트 크기 차이로 인해 대표성이 낮은 데이터에 불균형적으로 영향을 미치는가?
• RQ3 DP 설정(S, 노이즈, 배치 크기, 에포크)이 하위집단 간 정확도 공정성에 어떤 영향을 미치는가?
• RQ4 비-DP 모델에서의 기존 불공정성이 차등 프라이버시를 적용함으로써 증폭되는가?
• RQ5 다양한 과제에서 정확도에 대한 DP의 영향이 일관되게 나타나는가?

주요 결과

• DP 모델은 DP-SGD 하에서 어두운 피부색의 얼굴이 밝은 피부색의 얼굴보다 더 큰 정확도 하락을 보인다.
• DP 훈련은 대표성이 낮은 하위집단과 복잡한 데이터를 가진 하위집단에서 비-DP 모델에 비해 정확도를 더 크게 감소시킨다.
• 대표성이 낮은 그룹과 잘 대표된 그룹 간의 차이는 DP 하에서 종종 벌어지며, 'poor get poorer' 현상으로 예시된다.
• 그래디언트 클리핑과 추가 노이즈는 대표성이 낮은 데이터의 학습 업데이트를 불균형적으로 감소시켜 여러 과제에서 편향을 확대한다(얼굴 속성, 감정, 종, 연합 언어).
• MNIST와 유사한 실험에서 데이터가 적은 저빈도 클래스는 DP 하에서 훨씬 큰 정확도 저하를 겪으며, 전체 epsilon이 10 미만으로 유지될 때에도 마찬가지다.