[논문 리뷰] DP-SGD vs PATE: Which Has Less Disparate Impact on Model Accuracy?

Archit Uniyal, Rakshit Naidu외 5명|arXiv (Cornell University)|2021. 06. 22.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 5

한 줄 요약

이 논문은 비대칭 데이터셋에서 두 가지 차별적(private) 딥러닝 방법인 DP-SGD와 PATE를 비교하며, DP-SGD에 비해 PATE가 소수 집단에 대해 훨씬 덜 불리한 영향을 미친다는 것을 발견한다. 비록 둘 다 소수 집단의 모델 유틸리티를 떨어뜨리지만, PATE는 앙상블 기반 학습과 학생 모델 집합 시에만 노이즈를 추가함으로써 이러한 집단에 대해 훨씬 더 높은 정확도를 유지한다. 결과적으로 PATE는 하위군 전반에서 더 견고하고 공정한 성능을 보인다.

ABSTRACT

Recent advances in differentially private deep learning have demonstrated that application of differential privacy, specifically the DP-SGD algorithm, has a disparate impact on different sub-groups in the population, which leads to a significantly high drop-in model utility for sub-populations that are under-represented (minorities), compared to well-represented ones. In this work, we aim to compare PATE, another mechanism for training deep learning models using differential privacy, with DP-SGD in terms of fairness. We show that PATE does have a disparate impact too, however, it is much less severe than DP-SGD. We draw insights from this observation on what might be promising directions in achieving better fairness-privacy trade-offs.

연구 동기 및 목표

• 비대칭 데이터셋에서 DP-SGD와 유사하게 PATE가 소수 집단과 잘 표현된 하위군 간 모델 정확도에 대해 불균형한 영향을 미치는지 조사하기 위해.
• 소수 집단의 유틸리티 손실 측면에서 DP-SGD와 PATE 간의 공정성-비밀유지 트레이드오프를 비교하기 위해.
• PATE에서 교사 수가 비대칭 클래스에 대한 모델 정확도와 공정성에 어떤 영향을 미치는지 분석하기 위해.
• PATE가 소수 하위군의 유틸리티를 유지하는 데서 DP-SGD를 초월하는 조건을 규명하기 위해.

제안 방법

• 저자는 DP-SGD와 PATE를 사용해 비대칭 버전의 MNIST 및 SVHN 데이터셋을 다양한 비밀유지 예산(ε)으로 학습시켰다.
• DP-SGD의 경우, 클리핑된 기울기에 노이즈를 매 가중치 갱신 시 추가하고, 순간 계측기(moment accountant)를 통해 비밀유지 수준을 추적한다.
• PATE의 경우, 데이터의 서로 다른 부분집합에 대해 50개의 교사 모델을 학습시키고, 교사들의 노이즈가 추가된 예측 집합을 기반으로 학생 모델을 학습시킨다.
• 교사 수를 다양하게 조절(1, 10, 50, 100, 250)하여 공정성 및 정확도에 미치는 영향을 연구한다.
• 모델 성능은 5개의 랜덤 시드로 평가되었으며, 특히 소수 집단(숫자 8)에 대해 평균 정확도와 표준편차를 보고하였다.
• 모든 아키텍처에서 일관된 비교를 위해 SVHN에는 ResNet-18, MNIST에는 작은 CNN을 사용하였다.

실험 결과

연구 질문

• RQ1 PATE는 DP-SGD와 마찬가지로 소수 집단에 대해 모델 정확도에 불균형한 영향을 미치는가?
• RQ2 다양한 비밀유지 예산(ε)에서 PATE의 유틸리티는 소수 집단에 대해 DP-SGD와 비교해 어떻게 되는가?
• RQ3 교사 수는 비대칭 데이터에 대해 PATE의 공정성과 정확도에 어떤 영향을 미치는가?
• RQ4 왜 PATE는 DP-SGD보다 소수 집단에 대해 더 안정적이고 높은 정확도를 보이는가?

주요 결과

• ε = 0.5일 때 MNIST에서 PATE는 DP-SGD보다 소수 집단(8번 숫자)에 대해 두 배 이상의 정확도를 달성했다.
• ε가 0.5에서 15로 증가함에 따라 DP-SGD의 소수 집단(8번 숫자) 정확도는 크게 떨어졌지만, PATE는 안정적이고 높은 성능을 유지했다.
• SVHN에서는 두 방법 모두 소수 집단의 평균 정확도가 5% 이하로 낮았지만, PATE는 런 간 표준편차가 훨씬 낮아 더 높은 견고성을 보였다.
• 제거 분석 결과, 10명의 교사가 최적의 균형을 이뤘으며, 교사 수가 적은 경우(n=1)나 많은 경우(n=50, 100, 250)에는 과적합 또는 각 교사의 데이터 부족으로 성능이 악화되었다.
• PATE는 모든 런에서 더 일관된 성능을 보였고, 특히 소수 집단에서 정확도의 표준편차가 낮았다.
• 이 연구는 PATE가 DP-SGD에서 관찰되는 '가난한 자가 더 가난해지는' 현상을 줄임으로써, 비대칭 데이터에서 비밀유지 학습에 더 공정한 선택임을 확인한다.