[논문 리뷰] Spending Privacy Budget Fairly and Wisely

Lucas Rosenblatt, Joshua E. Allen외 1명|arXiv (Cornell University)|2022. 04. 27.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 예측 정확도를 향상시키고 불균형을 감소시키기 위해 특성 중요도에 기반하여 비용을 지혜롭게 할당하고, 하위군에 걸쳐 공정하게 할당하는 초합성 데이터 생성을 위한 차별적(private) 앙상블 방법인 SuperQUAIL을 제안한다. 이는 특히 중간에서 높은 비용 예산에서 최신 기술보다 높은 전체적이고 그룹별 예측 성능을 달성하면서도, 인구 집단 간 잠재적 오류 비율에서 공정성을 유지한다.

ABSTRACT

Differentially private (DP) synthetic data generation is a practical method for improving access to data as a means to encourage productive partnerships. One issue inherent to DP is that the "privacy budget" is generally "spent" evenly across features in the data set. This leads to good statistical parity with the real data, but can undervalue the conditional probabilities and marginals that are critical for predictive quality of synthetic data. Further, loss of predictive quality may be non-uniform across the data set, with subsets that correspond to minority groups potentially suffering a higher loss. In this paper, we develop ensemble methods that distribute the privacy budget "wisely" to maximize predictive accuracy of models trained on DP data, and "fairly" to bound potential disparities in accuracy across groups and reduce inequality. Our methods are based on the insights that feature importance can inform how privacy budget is allocated, and, further, that per-group feature importance and fairness-related performance objectives can be incorporated in the allocation. These insights make our methods tunable to social contexts, allowing data owners to produce balanced synthetic data for predictive analysis.

연구 동기 및 목표

• 차별적(private) 초합성 데이터 생성에서 균일한 비용 예산 할당 방식의 한계를 해결함으로써, 특히 少수 집단에 대해 예측 품질이 떨어지는 문제를 해결하고자 한다.
• 특성 중요도에 기반한 비용 예산 할당을 통해 초합성 데이터의 예측 정밀도를 향상시키는 방법을 개발하고자 한다.
• 공정성 목표를 비용 예산 할당 과정에 통합하여 하위집단 간 모델 성능 격차를 최소화하고자 한다.
• 데이터 소유자가 사회적 및 윤리적 우선순위를 반영한 균형 잡히고 해석 가능하며 조정 가능한 초합성 데이터를 생성할 수 있도록 하고자 한다.
• 비용 예산 할당이 유용성 외에도 예측 모델링에서의 공정성 향상에도 최적화될 수 있음을 입증하고자 한다.

제안 방법

• 이 방법은 차별적(private) 모델(DPSAGE)이 특성 중요도를 추정하여 비용 예산 할당을 이끌어내는 앙상블 프레임워크를 사용한다.
• 비용 예산은 마진 기반 생성기(MST 등)와 조건부 모델(DPLogisticRegression 등) 간에 나누어지며, 에프실론 분할에 대한 그리드 서치를 통해 할당 비율을 조정한다.
• 공정성은 공정성 인식 목표 함수를 사용하여 하위군 간 균형 잡힌 성능 지표(FNR, FPR 등)를 최적화함으로써 강제한다.
• 이 프레임워크는 두 가지 변형을 포함한다: FSQ-Bal은 균형 잡힌 정확도를, FSQ-FNR은 고영향도 상황에서의 잠재적 오류 비율을 최소화하기 위한 것이다.
• 특성 중요도와 공정성 제약 조건에 따라 구성 요소 간 에프실론을 동적으로 할당함으로써 조정 가능한 트레이드오프를 가능하게 한다.
• 실제 데이터와 초합성 데이터를 대상으로 종단 간 분류 작업을 통해 성능을 평가하며, 정확도, F1 점수, 인구 집단 간 FNR 및 FPR 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 특성 중요도에 기반한 비용 예산 할당이, 차별적(private) 초합성 데이터를 기반으로 훈련된 모델의 예측 정확도를 향상시킬 수 있는가?
• RQ2 공정성 제약 조건을 비용 예산 할당 과정에 효과적으로 통합하여, 인구 하위군 간 성능 격차를 줄일 수 있는가?
• RQ3 다양한 비용 예산 수준에서 제안된 방법의 예측 유효성과 공정성 측면에서 최신 기술 초합성 생성기와의 성능를 비교해보면 어떻게 되는가?
• RQ4 예측 및 공정성 지표 향상과 함께 높은 통계적 정밀도를 유지하는가?
• RQ5 특정 공정성 목표, 예를 들어 소수 집단에서의 잠재적 오류 비율 최소화를 우선시할 수 있도록 이 프레임워크를 조정할 수 있는가?

주요 결과

• ε = e³일 때, FSQ-Bal은 ACSEmployment 데이터셋에서 전체 정확도 72.0%를 달성하여 MST(65.2%)를 능가하고 실제 데이터(74.3%)에 가까워졌다.
• FSQ-Bal은 전체적으로 FNR을 9%로 낮추었으며, 흑인 집단에서는 9%로 유지하여 실제 데이터(전체 12%, 흑인 16%)와 MST(전체 10%, 흑인 21%)를 모두 능가했다.
• 이 방법은 인종 집단 간 균형 잡힌 FNR과 FPR을 달성하여, 초합성 데이터 생성 과정에서 효과적인 공정성 강제 조건을 확보했다.
• 낮은 비용 예산(ε = e⁰)에서는 MST보다 변동성이 더 높았지만, ε = e² 및 ε = e³에서 성능이 MST를 초월하여 중간에서 높은 비용 수준에서의 효과성을 입증했다.
• DPSAGE를 통한 특성 중요도 추정은 실제 데이터와 강한 일치를 보였으며(ε = 0.2일 때 nDCG ≈ 0.9), 이는 비용 할당에 활용될 수 있음을 검증했다.
• MST가 더 뛰어난 집합 통계 정밀도를 보였음에도 불구하고, 이 프레임워크는 정확도 및 F1 점수 등 예측 지표에서 MST를 능가하면서도 공정성을 유지했다.