[논문 리뷰] Neither Private Nor Fair: Impact of Data Imbalance on Utility and Fairness in Differential Privacy

Tom Farrand, Fatemehsadat Mireshghallah외 2명|arXiv (Cornell University)|2020. 09. 10.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

이 논문은 데이터 불균형과 차별적 개인정보 보호(DP)가 딥러닝에서 모델의 유효성과 공정성에 동시에 악영향을 미치는 방식을 조사한다. 불균형 데이터셋에서 DP-SGD를 사용함으로써, 저자들은 경미한 불균형(예: 소수 집단 30%)과 느슨한 개인정보 보호 예산(ε=4.98, ε=16.2) 조건에서도 하위 집단 간 정확도 격차가 5.1–52% 증가함을 보여주며, 공정성 지표(인구 구성 동등성 및 기회 평등성)가 불균형과 DP의 영향을 받아 심각하게 악화됨을 확인한다.

ABSTRACT

Deployment of deep learning in different fields and industries is growing day by day due to its performance, which relies on the availability of data and compute. Data is often crowd-sourced and contains sensitive information about its contributors, which leaks into models that are trained on it. To achieve rigorous privacy guarantees, differentially private training mechanisms are used. However, it has recently been shown that differential privacy can exacerbate existing biases in the data and have disparate impacts on the accuracy of different subgroups of data. In this paper, we aim to study these effects within differentially private deep learning. Specifically, we aim to study how different levels of imbalance in the data affect the accuracy and the fairness of the decisions made by the model, given different levels of privacy. We demonstrate that even small imbalances and loose privacy guarantees can cause disparate impacts.

연구 동기 및 목표

• 데이터 불균형과 차별적 개인정보 보호가 딥러닝에서 모델 정확도와 공정성에 미치는 병합된 영향을 조사하는 것.
• 낮은 ε(낮은 개인정보 보호 보장 수준)와 경미한 데이터 불균형 조건에서도 소수 집단에 대한 차별적 영향이 발생하는지 검토하는 것.
• DP-SGD에서의 기울기 클리핑이 훈련 중 주로 집단과 소수 집단 간 정확도 격차를 악화시키는 방식을 분석하는 것.
• 다양한 수준의 데이터 불균형과 개인정보 보호 예산에서 공정성 지표(인구 구성 동등성 및 기회 평등성)를 평가하는 것.
• 엄격한 개인정보 보호 보장 조건이 존재하더라도 공정한 모델 성능을 보장하지 못하는 조건을 특정하는 것.

제안 방법

• 통제된 데이터 불균형 수준(소수 집단 0.1%에서 30%까지)을 가진 이미지 분류 작업(CelebA, UTKFace)에서 DP-SGD의 실증적 평가.
• 개인정보 보호 예산 ε(1.15에서 16.2까지)와 δ=10⁻⁶를 체계적으로 변화시켜 모델 정확도와 공정성에 미치는 영향 평가.
• 개인정보 보호 예산을 전체 훈련 기간 동안 추적하고 강제화하기 위해 모멘트 애카운터 사용.
• 훈련 단계 전반에 걸쳐 하위 집단 정확도(예: CelebA에서의 여성 대 남성)를 모니터링하여 분리 동역학 관찰.
• 공정성 지표 측정: 민감한 하위 집단 간 인구 구성 동등성의 차이(ΔDemP)와 기회 평등성의 차이(ΔEO).
• 기울기 클리핑 영향 분석: 소수 집단 예시가 미니배치에서 빈도가 낮기 때문에 클리핑될 가능성이 더 높다는 가설 제시.

실험 결과

연구 질문

• RQ1 다양한 개인정보 보호를 적용한 딥러닝에서 데이터 불균형이 하위 집단 간 정확도 격차에 어떤 영향을 미치는가?
• RQ2 개인정보 보호 예산이 느슨한 경우(예: ε=4.98 또는 ε=16.2)에도 DP가 모델 정확도에 미치는 차별적 영향이 지속되는가?
• RQ3 개인정보 보호 하에서 데이터 불균형이 증가함에 따라 공정성 지표인 인구 구성 동등성과 기회 평등성이 어떻게 변화하는가?
• RQ4 DP-SGD에서의 기울기 클리핑이 훈련 중 주로 집단과 소수 집단 간 정확도 격차를 어느 정도 악화시키는가?
• RQ5 높은 개인정보 보호 예산(tight ε)은 공정성 저하를 완화할 수 있는가, 아니면 오히려 유효성을 너무 낮춰서 공정성이 향상되는가?

주요 결과

• 상대적으로 균형 잡힌 데이터셋(소수 집단 30%)에서도 DP-SGD를 적용하고 ε=4.98 또는 ε=16.2를 사용할 경우, 하위 집단 간 정확도 격차가 각각 5.1%와 5.2% 증가한다.
• 소수 집단이 데이터의 0.1%로 줄어들 경우, ε=4.98와 ε=16.2 조건에서 정확도 격차는 각각 19%와 52%로 증가한다.
• 데이터 불균형이 증가함에 따라 공정성 지표가 심각하게 악화된다: ΔDemP와 ΔEO는 모든 개인정보 보호 수준에서 악화되며, 극도로 불균형한 설정에서 가장 심각한 악화가 발생한다.
• 하위 집단 정확도의 분리는 기울기 클리핑에 의해 주도되며, 이는 미니배치에서 빈도가 낮은 소수 집단 예시가 더 자주 클리핑되기 때문이다.
• 더 엄격한 개인정보 보호 예산(예: ε=1.15)은 공정성을 향상시키기보다는 전체 유효성을 너무 낮춰 모델이 예측에서 더 무작위가 되어 균형 잡힌 예측을 하게 되므로 격차를 줄일 수 있다.
• 이 연구는 DP가 공정성을 보장하지 못하며, 심지어 균형 잡힌 데이터셋과 느슨한 개인정보 보호 예산 조건에서도 기존 편향을 악화시킬 수 있음을 입증한다.