[논문 리뷰] Evaluating the Fairness Impact of Differentially Private Synthetic Data

Blake Bullwinkel, Kristen Grabarz외 4명|arXiv (Cornell University)|2022. 05. 09.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 이질적 비밀보장성(DP) 합성 데이터가 후행 이진 분류 작업에 미치는 공정성 영향을 평가하며, 네 가지 DP 합성기 중 세 대다수의 경우 소수 집단의 표현을 감소시켜 공정성을 악화시킴을 발견하였다. 다중 레이블 언더샘플링을 통한 사전 처리는 정확도를 희생시키지 않은 채 공정성을 향상시키며, MST 합성기는 사전 처리 없이도 비공개 데이터와 유사한 공정성 및 정확도를 유지한다.

ABSTRACT

Differentially private (DP) synthetic data is a promising approach to maximizing the utility of data containing sensitive information. Due to the suppression of underrepresented classes that is often required to achieve privacy, however, it may be in conflict with fairness. We evaluate four DP synthesizers and present empirical results indicating that three of these models frequently degrade fairness outcomes on downstream binary classification tasks. We draw a connection between fairness and the proportion of minority groups present in the generated synthetic data, and find that training synthesizers on data that are pre-processed via a multi-label undersampling method can promote more fair outcomes without degrading accuracy.

연구 동기 및 목표

• 이질적 비밀보장성 합성 데이터가 후행 머신러닝 작업에서 공정성에 미치는 영향을 조사하는 것.
• DP 합성기가 소수 집단에 특히 더 심각한 클래스 불균형을 악화시키는지 확인하는 것.
• 비공개 데이터를 다중 레이블 언더샘플링으로 사전 처리함으로써 DP 합성 데이터의 공정성이 향상되는지 평가하는 것.
• 실제 세계 데이터셋을 기반으로 다수의 DP 합성기 간의 공정성 및 정확도 성능을 비교하는 것.
• 어떤 DP 합성기라도 비공개 데이터 수준의 공정성 및 정확도를 유지하는지 확인하는 것.

제안 방법

• QUAIL 앙상블를 사용하거나 사용하지 않는 네 가지 DP 합성기(MWEM, DP-CTGAN, PATE-CTGAN, MST)를 평가.
• 비공개 학습 데이터를 다중 레이블 언더샘플링하여 소수 집단의 표현 균형을 맞추기 위해 사전 처리를 수행.
• DP 합성 데이터 기반으로 로지스틱 회귀 분류기를 훈련하고, 비공개 기준과의 공정성 및 정확도를 비교.
• ACS Income, Adult, COMPAS 데이터셋 전반에서 등가 오차 거리와 F1-스코어를 사용해 공정성과 정확도를 측정.
• 가우스 기반 메커니즘과 DP-SGD를 적용하여 (ε,δ)-이질적 비밀보장성을 확보하고, 통제된 비밀보장 예산을 적용.
• 합성 데이터와 원본 데이터 간의 소수 집단 비율을 시각화하고 비교하여 분포 이탈과 공정성 결과 간의 상관관계를 분석.

실험 결과

연구 질문

• RQ1 이질적 비밀보장성 합성 데이터 생성기가 후행 이진 분류 작업에서 공정성을 악화시키는가?
• RQ2 합성 데이터에서 소수 집단 비율과 후행 모델의 공정성 간에 상관관계가 있는가?
• RQ3 비공개 데이터를 다중 레이블 언더샘플링으로 사전 처리하면, DP 합성 데이터의 공정성을 높일 수 있는가, 정확도 손실 없이?
• RQ4 어느 DP 합성기가 비공개 데이터 수준의 공정성 및 정확도를 가장 잘 유지하는가?
• RQ5 초기화 감도 및 모델 아키텍처는 DP 합성 데이터의 공정성 결과에 어떤 영향을 미치는가?

주요 결과

• QUAIL-MWEM, QUAIL-DPCTGAN, QUAIL-PATECTGAN의 네 가지 DP 합성기 중 세 가지가 합성 데이터에서 소수 집단의 표현을 크게 감소시켜 공정성 결과가 악화되었다.
• ACS Income 데이터셋에서 이 세 모델의 합성 데이터 기반 분류기는 비공개 데이터 기반 분류기 대비 등가 오차 거리가 거의 두 배 높았다.
• 다중 레이블 언더샘플링을 통한 사전 처리로 합성 데이터에서 소수 집단 비율이 증가하고 등가 오차 거리가 감소하여 공정성이 향상되었으며, 정확도 손실 없이 이루어졌다.
• MST 합성기는 비공개 데이터와 거의 동일한 소수 집단 비율을 유지했고, 공정성 및 정확도 지표가 비공개 기준과 구분되지 않을 정도로 유사했다.
• QUAIL-DPCTGAN과 QUAIL-PATECTGAN는 매우 변동성이 큰 성능을 보여, QUAIL 앙상블를 적용한 후에도 초기화 감도에 매우 민감함을 보였다.
• 정확도 손실 없이 공정성 향상이 달성되었으며, 이는 DP 합성 데이터에서 공정성-정확도 트레이드오프가 일반적인 가정임을 뒤집는 결과였다.