[논문 리뷰] Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy

Depeng Xu, Wei Du외 1명|arXiv (Cornell University)|2020. 03. 08.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 8

한 줄 요약

이 논문은 보호군 및 다수군 간 정확도 손실을 동일하게 유지하면서 클립핑 범위를 그룹별로 적응적으로 조정하는 수정된 비밀 보장 확률적 경사 하강법인 DPSGD-F를 제안한다. 그룹별 클립핑 편향과 표본 수를 고려함으로써 DPSGD-F는 보호군과 다수군 간 정확도 손실의 불균형을 제거하여, 비밀 보장 학습에서의 유티리티 불균형을 크게 줄이고, 동일한 비밀 보장 보장을 유지한다.

ABSTRACT

When we enforce differential privacy in machine learning, the utility-privacy trade-off is different w.r.t. each group. Gradient clipping and random noise addition disproportionately affect underrepresented and complex classes and subgroups, which results in inequality in utility loss. In this work, we analyze the inequality in utility loss by differential privacy and propose a modified differentially private stochastic gradient descent (DPSGD), called DPSGD-F, to remove the potential disparate impact of differential privacy on the protected group. DPSGD-F adjusts the contribution of samples in a group depending on the group clipping bias such that differential privacy has no disparate impact on group utility. Our experimental evaluation shows how group sample size and group clipping bias affect the impact of differential privacy in DPSGD, and how adaptive clipping for each group helps to mitigate the disparate impact caused by differential privacy in DPSGD-F.

연구 동기 및 목표

• 차별적 개인정보 보호가 인구 통계적 군집, 특히 소수군에 대해 모델 정확도에 어떻게 비례하지 않게 영향을 미치는지 조사하기 위해.
• 그룹 표본 수와 그룹 클립핑 편향이 비밀 보장 확률적 경사 하강법에서 불균형한 유티리티 손실을 유발하는 핵심 요인임을 규명하기 위해.
• 모든 군집 간 동일한 개인 정보-유티리티 트레이드오프를 보장하는 수정된 DPSGD 알고리즘을 제안하여 유티리티 손실의 부당함을 해결하기 위해.
• 비밀 보장 보장을 유지하면서도 보호군의 모델 정확도에 대한 영향을 제거하는 방법을 설계하기 위해.

제안 방법

• 각 그룹의 클립핑 편향과 표본 수를 기반으로 그룹 적응형 클립핑 범위를 적용하는 수정된 비밀 보장 확률적 경사 하강법인 DPSGD-F를 제안한다.
• 각 그룹의 클립핑 임계값을 도입하여 그룹 내 샘플의 기여도를 조정함으로써 그룹 간 유티리티 손실을 균형 잡는다.
• 이론적 분석을 통해 불균형한 그룹 표본 수가 불균형한 클립핑 편향을 초래하고, 이로 인해 비례하지 않는 유티리티 손실이 발생함을 보여준다.
• 적응 클립핑을 통해 그룹 간 기울기 노름과 손실의 차이를 최소화하여, 모든 그룹에서 개인 정보 보장 모델 성능이 비개인정보 기준과 일치하도록 한다.
• 실제 데이터셋(Adult 및 Dutch)에 보호 속성(성별)을 적용하여 공정성과 유티리티 트레이드오프를 평가한다.
• 남성 및 여성 하위군 간 비개인정보 SGD, 표준 DPSGD, 단순 기준선 및 DPSGD-F 간 정확도 비교를 통해 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 비밀 보장 학습에서 차별적 개인정보 보호가 다양한 인구 통계적 군집 간 모델 정확도에 어떻게 불균형한 영향을 미치는가?
• RQ2 그룹 표본 수와 그룹 클립핑 편향과 같은 요소들이 비밀 보장 확률적 경사 하강법에서 불균형한 유티리티 손실을 유도하는가?
• RQ3 그룹별 적응 클립핑이 비밀 보장으로 인한 유티리티 손실의 격차를 제거할 수 있는가?
• RQ4 DPSGD-F는 비밀 보장을 유지하면서도 다수군과 보호군 간 유사한 정확도 손실을 달성하는가?
• RQ5 공정성과 유티리티 측면에서 DPSGD-F는 표준 DPSGD 및 단순 기준선과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 불균형한 Adult 데이터셋에서 DPSGD-F는 남성 그룹의 정확도 손실을 DPSGD의 -0.025에서 -0.029로 감소시켜 비개인정보 SGD 기준선에 훨씬 가까워졌다.
• 불균형한 Dutch 데이터셋에서 DPSGD-F는 남성 그룹의 정확도 손실을 -0.032로 유지했고, 표준 DPSGD의 -0.124보다 훨씬 낮게 유지하여 격차를 크게 줄였다.
• 모든 네 가지 설정(균형 및 불균형한 Adult 및 Dutch)에서 DPSGD-F는 남성 및 여성 그룹 간 유사한 정확도 손실을 달성하여 유티리티 손실의 공정성을 입증했다.
• 모든 그룹에서 DPSGD-F의 평균 기울기 노름과 손실이 비개인정보 SGD와 훨씬 유사하여 더 나은 수렴과 공정성을 나타냈다.
• 그림 6과 그림 7은 DPSGD-F의 수렴 추세가 비개인정보 SGD와 가장 유사함을 보여주며, 그룹 유티리티 유지 측면에서의 효과성을 확인한다.
• 이 방법은 저조도 또는 고클립핑 편향 그룹에 대한 정확도 저하가 심화되는 '가난한 자가 더 가난해지는' 효과를 효과적으로 완화한다.