[논문 리뷰] Disparate Impact in Differential Privacy from Gradient Misalignment

Maria S. Esipova, Atiyeh Ashari Ghomi외 2명|arXiv (Cornell University)|2022. 06. 15.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 기밀 보장 확보 기반 확률적 경사 하강법(DPSGD)에서 발생하는 비균형적인 경사 클리핑으로 인한 경사 불일치가 보호 그룹 간 불균형 영향의 주요 원인임을 규명한다. 이를 바탕으로 보호 그룹 레이블이 필요 없이 전역적으로 경사를 정렬하는 새로운 DPSGD 변형인 DPSGD-Global-Adapt를 제안하며, 이는 특히 소수 그룹에서의 공정성 향상과 유틸리티 향상에 기여한다.

ABSTRACT

As machine learning becomes more widespread throughout society, aspects including data privacy and fairness must be carefully considered, and are crucial for deployment in highly regulated industries. Unfortunately, the application of privacy enhancing technologies can worsen unfair tendencies in models. In particular, one of the most widely used techniques for private model training, differentially private stochastic gradient descent (DPSGD), frequently intensifies disparate impact on groups within data. In this work we study the fine-grained causes of unfairness in DPSGD and identify gradient misalignment due to inequitable gradient clipping as the most significant source. This observation leads us to a new method for reducing unfairness by preventing gradient misalignment in DPSGD.

연구 동기 및 목표

• 기밀 보장 확률적 경사 하강법(DPSGD)에서 불균형 영향의 미세한 원인을 조사하기 위해.
• 비균형적인 경사 클리핑으로 인한 경사 불일치가 DPSGD에서 공정성에 영향을 주는 주요 원인임을 규명하기 위해.
• 보호 그룹 레이블에 접근하지 않더라도 불균형 영향을 줄일 수 있는 방법을 개발하기 위해.
• 기밀 학습 중에 그룹 간 경사를 정렬함으로써 모델의 유틸리티와 공정성을 향상시키기 위해.
• 경사의 방향 오차를 최소화하는 것이 크기나 노이즈 오차를 최소화하는 것보다 공정성 향상에 더 효과적임을 검증하기 위해.

제안 방법

• 모든 그룹의 최대 경사 노름을 기반으로 전역 클리핑 임계값을 사용하는 DPSGD의 변형을 제안하며, 그룹별 클리핑이 아닌 전역 기반 클리핑을 적용한다.
• 학습 중 관측된 경사 노름에 따라 상한값 $ Z $ 를 동적으로 조정하는 적응형 클리핑 메커니즘을 도입한다.
• 모든 그룹에서 클리핑되지 않은 경사의 방향을 유지하는 전역 경사 정렬 전략을 적용하여 불일치를 감소시킨다.
• 차원 보존 기반의 수정된 노이즈 주입 방식을 적용하여 기밀 보장은 유지하면서도 방향 오차를 최소화한다.
• 더 큰 학습률로 인한 증가된 노이즈 오차와 크기 및 방향 오차 감소를 균형 잡기 위한 학습률 튜닝 전략을 활용한다.
• 학습 과정에서 보호 그룹 레이블을 전혀 사용하지 않아 차별 대우의 위험을 제거한다.

실험 결과

연구 질문

• RQ1 기밀 보장 확률적 경사 하강법(DPSGD)에서 불균형 영향의 주요 원인은 무엇인가?
• RQ2 그룹별 클리핑으로 인한 경사 불일치는 보호 그룹 간 불공정성에 어떻게 기여하는가?
• RQ3 보호 그룹 소속 정보 없이도 경사를 정렬할 수 있는가?
• RQ4 경사의 방향 오차를 줄이는 것이 크기나 노이즈 오차를 줄이는 것보다 더 나은 공정성과 유틸리티를 제공하는가?
• RQ5 전역 클리핑 전략은 그룹별 클리핑 대비 기밀 보장 유지 조건에서 불균형 영향을 더 효과적으로 줄일 수 있는가?

주요 결과

• 격렬하고 비균형적인 클리핑으로 인한 경사 불일치가 DPSGD에서 불균형 영향을 유발하는 가장 중요한 원인으로, 불공정성 기여도에서 크기 오차나 노이즈 오차를 초월한다.
• 제안된 DPSGD-Global-Adapt 방법은 표준 DPSGD 대비 보호 그룹 간 기밀 비용 격차를 최대 50%까지 감소시키며, 공정성 지표에서 통계적으로 유의미한 향상을 보였다.
• Adult 데이터셋에서 DPSGD-Global-Adapt는 79.4% ± 0.1의 정확도를 달성했고, DPSGD 대비 경사 불일치로 인한 과도한 위험을 70% 감소시켰다.
• Dutch 데이터셋에서 DPSGD-F 및 DPSGD-Global 대비 정확도와 공정성 모두에서 뛰어난 성능을 보였으며, 정확도는 0.5%p 향상되고 위험 격차는 0.05 감소했다.
• 노이즈 유도 오차가 20% 증가했음에도 불구하고 전역 방법이 더 나은 최종 성능을 달성하여, 방향 오차가 공정성의 주요 제약 요소임을 확인했다.
• 시험된 방법들 중에서 유일하게 보호 그룹 레이블이 필요 없어, 차별 대우 위험을 제거하면서도 여전히 불균형 영향을 줄였다.