[논문 리뷰] Investigating Trade-offs in Utility, Fairness and Differential Privacy in Neural Networks

Marlotte Pannekoek, Giacomo Spigler|arXiv (Cornell University)|2021. 02. 11.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 단순 신경망(S-NN), 공정한 신경망(F-NN), 차별적 비밀유지 신경망(DP-NN), 그리고 공동으로 공정하고 비밀유지된 모델(DPF-NN)을 비교함으로써 신경망에서 유틸리티, 공정성, 차별적 비밀유지 간의 트레이드오프를 조사한다. 강력한 비밀유지 설정(ε=0.1, δ=0.00001) 하에서 DPF-NN은 S-NN 및 DP-NN에 비해 유틸리티 손실이 미미한 가운데 위험 차이가 0.05 이하로 떨어져 뛰어난 공정성 성능를 달성하였으며, 유틸리티를 유지하면서도 이전 연구에 비해 뛰어난 성능을 보였다.

ABSTRACT

To enable an ethical and legal use of machine learning algorithms, they must both be fair and protect the privacy of those whose data are being used. However, implementing privacy and fairness constraints might come at the cost of utility (Jayaraman & Evans, 2019; Gong et al., 2020). This paper investigates the privacy-utility-fairness trade-off in neural networks by comparing a Simple (S-NN), a Fair (F-NN), a Differentially Private (DP-NN), and a Differentially Private and Fair Neural Network (DPF-NN) to evaluate differences in performance on metrics for privacy (epsilon, delta), fairness (risk difference), and utility (accuracy). In the scenario with the highest considered privacy guarantees (epsilon = 0.1, delta = 0.00001), the DPF-NN was found to achieve better risk difference than all the other neural networks with only a marginally lower accuracy than the S-NN and DP-NN. This model is considered fair as it achieved a risk difference below the strict (0.05) and lenient (0.1) thresholds. However, while the accuracy of the proposed model improved on previous work from Xu, Yuan and Wu (2019), the risk difference was found to be worse.

연구 동기 및 목표

• 딥러닝 모델에서 유틸리티, 공정성, 차별적 비밀유지 간의 상호작용을 조사하기 위해.
• 신경망에 개별적으로나 병합하여 적용된 공정성 및 비밀유지 제약 조건의 성능을 평가하기 위해.
• 로지스틱 회귀 모델에 대한 이전 연구와 비교해, 차별적 비밀유지와 공정성을 동시에 적용할 경우 모델 성능 향상 여부를 평가하기 위해.
• 모델 유틸리티가 크게 저하되지 않도록 비밀유지와 공정성을 동시에 달성할 수 있는지 확인하기 위해.
• 거부 옵션 분류 및 차별적 비밀유지 최적화 기법이 다중 제약 조건을 가진 신경망에서 효과적으로 작용하는지 검증하기 위해.

제안 방법

• 연구는 단순 신경망(S-NN), 거부 옵션 분류를 사용한 공정한 신경망(F-NN), 비밀유지 최적화 기법을 적용한 차별적 비밀유지 신경망(DP-NN), 그리고 공동으로 공정하고 비밀유지된 모델(DPF-NN)의 네 가지 모델을 비교한다.
• 공정성은 보정 처리를 통해 구현되며, 보호 그룹 간의 격차를 줄이기 위해 예측 임계치를 조정하는 거부 옵션 분류 방법을 사용한다.
• 차별적 비밀유지는 제어된 노이즈 주입을 통해 이루어지며, 비밀유지 예산 파라미터 ε와 δ에 의해 지배된다.
• 모델들은 Adult 및 Dutch 데이터셋에서 훈련 및 평가되며, 성능은 정확도(유틸리티), 위험 차이(공정성), ε, δ(비밀유지)로 측정된다.
• DPF-NN은 거부 옵션 분류와 차별적 비밀유지 최적화 기법을 동시에 적용하여 공정성과 비밀유지를 동시에 구현한다.
• 비교 평가를 위해 Xu, Yuan, and Wu (2019)의 로지스틱 회귀 모델 기반 기준 결과를 사용한다.

실험 결과

연구 질문

• RQ1 차별적 비밀유지를 적용할 경우 신경망의 공정성과 유틸리티에 어떤 영향을 미치는가?
• RQ2 비밀유지 제약 조건 하에서 후처리를 통한 공정성 강화가 모델 성능에 어느 정도 기여하는가?
• RQ3 신경망이 동시에 강력한 비밀유지, 높은 공정성, 양호한 유틸리티를 달성할 수 있는가?
• RQ4 공동 적용된 공정성과 차별적 비밀유지가 개별 제약 조건과 비교해 트레이드오프 측면에서 어떻게 다를 수 있는가?
• RQ5 DPF-NN 모델이 비밀유지, 공정성, 유틸리티를 균형 있게 유지하는 데 이전 연구를 능가하는가?

주요 결과

• ε=0.1 및 δ=0.00001 조건에서 DPF-NN은 엄격한 기준인 0.05 이하의 위험 차이를 달성하여 강력한 공정성 성능를 입증하였다.
• DPF-NN는 S-NN 및 DP-NN와 비교해 평균 정확도가 미미하게 낮게 유지되어 강력한 비밀유지 설정 하에서도 높은 유틸리티를 확보하였다.
• Xu, Yuan, and Wu (2019)의 기존 차별적 비밀유지 및 공정한 모델에 비해 DPF-NN는 더 높은 정확도를 달성하였으며, 위험 차이가 다소 높아도 성능에서 뚜렷한 우월성을 보였다.
• ε=0.1 및 δ=0.00001 조건에서 DP-NN는 기존 비밀유지 모델보다 유의미하게 높은 정확도를 확보하였고, 유사한 수준의 공정성을 유지하였다.
• DP-NN나 DPF-NN에서 비밀유지 수준이 증가함에 따라 정확도가 감소하는 일관된 경향은 관찰되지 않아 이전 연구의 가정에 도전하는 결과를 보였다.
• F-NN는 높은 공정성과 정확도를 달성했지만, 비밀유지 보호 기능이 없었으며, 이는 병합된 제약 조건의 필요성을 강조한다.