[논문 리뷰] Privacy for All: Demystify Vulnerability Disparity of Differential Privacy against Membership Inference Attack

Bo Zhang, Ruotong Yu외 4명|arXiv (Cornell University)|2020. 01. 24.

Privacy-Preserving Technologies in Data참고 문헌 59인용 수 12

한 줄 요약

이 논문은 인구 통계적 집단 간의 소속성 추론 공격(MIA)의 부당함을 수량화하기 위해 위험성 불균형(Vulnerability Disparity, VD)을 도입하고, 데이터 불균형으로 인해 일부 집단이 특히 더 취약하게 되는 MIA의 비율을 분석한다. 또한 차별적 개인정보 보호(DP)가 VD를 감소시키지만 완전히 제거하지는 않음을 보여주며, FairPick—데이터 재가중 기법—을 제안하여 DP 유무에 관계없이 VD를 효과적으로 완화함으로써, 개인정보 보호 기반 기계학습의 공정성을 향상시킨다.

ABSTRACT

Machine learning algorithms, when applied to sensitive data, pose a potential threat to privacy. A growing body of prior work has demonstrated that membership inference attack (MIA) can disclose specific private information in the training data to an attacker. Meanwhile, the algorithmic fairness of machine learning has increasingly caught attention from both academia and industry. Algorithmic fairness ensures that the machine learning models do not discriminate a particular demographic group of individuals (e.g., black and female people). Given that MIA is indeed a learning model, it raises a serious concern if MIA ``fairly'' treats all groups of individuals equally. In other words, whether a particular group is more vulnerable against MIA than the other groups. This paper examines the algorithmic fairness issue in the context of MIA and its defenses. First, for fairness evaluation, it formalizes the notation of vulnerability disparity (VD) to quantify the difference of MIA treatment on different demographic groups. Second, it evaluates VD on four real-world datasets, and shows that VD indeed exists in these datasets. Third, it examines the impacts of differential privacy, as a defense mechanism of MIA, on VD. The results show that although DP brings significant change on VD, it cannot eliminate VD completely. Therefore, fourth, it designs a new mitigation algorithm named FAIRPICK to reduce VD. An extensive set of experimental results demonstrate that FAIRPICK can effectively reduce VD for both with and without the DP deployment.

연구 동기 및 목표

• 소속성 추론 공격(MIA)이 다양한 인구 통계적 집단을 공정하게 대응하지 않아 특정 집단이 더 취약하게 되는지 조사한다.
• 차별적 개인정보 보호(DP)가 인구 통계적 집단 간 MIA의 공정성에 미치는 영향을 분석한다.
• DP 적용 전후 모두 위험성 불균형(VD)을 감소시키는 새로운 완화 기법을 설계한다.
• 불균형한 인구 통계 분포를 보이는 실제 데이터셋에서 VD를 실증적으로 평가한다.

제안 방법

• 등가 기회 공정성 프레임워크를 사용하여 위험성 불균형(VD)을 수식화하고, 인구 통계적 집단 간 MIA 성공률의 차이를 측정한다.
• 실제 데이터셋 4종(예: COMPAS, 랜덤 포레스트 등)에서 VD를 실증적으로 평가하여 인종 및 성별 집단 간 MIA 성공률의 격차를 수량화한다.
• 차별적 개인정보 보호(DP)가 VD에 미치는 영향을 분석하여, 비균일한 데이터 분포 영향으로 인해 DP는 VD를 감소시키지만 완전히 제거하지는 않음을 보여준다.
• 훈련 데이터 분포를 조정하여 VD를 최소화하는 후처리 데이터 재가중 기법 FairPick을 제안하며, MIA 결과의 공정성을 향상시킨다.
• FairPick을 DP 적용 전후 모두 적용하여 다양한 환경에서 VD 감소 효과를 입증한다.
• 다양한 지표를 사용한 실증 평가를 통해 FairPick이 VD 감소 효과를 달성하면서도 모델 유틸리티를 유지함을 검증한다.

실험 결과

연구 질문

• RQ1 MIA가 다양한 인구 통계적 집단을 공정하게 대응하지 않아 일부 집단이 다른 집단보다 더 취약한가?
• RQ2 특히 데이터 불균형으로 인해 MIA에서 위험성 불균형이 발생하는 근본 원인은 무엇인가?
• RQ3 차별적 개인정보 보호(DP)가 인구 통계적 집단 간 MIA의 공정성에 어떤 영향을 미치는가?
• RQ4 새로운 완화 기법이 DP 적용 전후 모두 위험성 불균형을 감소시킬 수 있는가?

주요 결과

• 실제 데이터셋에서 MIA에 대한 위험성 불균형(VD)이 존재하며, 데이터 불균형으로 인해 특정 인구 집단(예: 블랙 및 여성)이 더 높은 MIA 성공률을 보임을 확인하였다.
• 차별적 개인정보 보호(DP)는 VD를 감소시키지만, DP의 개인정보 보호 보장이 인구 통계 분포 불균형을 고려하지 않기 때문에 VD를 완전히 제거하지는 않는다.
• FairPick은 훈련 데이터의 인구 통계적 표현을 균형 잡는 재가중 기법을 통해 VD를 효과적으로 감소시켜, MIA 성공률의 격차를 줄였다.
• FairPick을 통한 VD 감소 효과는 DP가 적용된 환경과 적용되지 않은 환경 모두에서 일관되게 나타나, 그 강건성을 입증하였다.
• 실증 결과에 따르면 FairPick은 모델 유틸리티를 유지하면서도 인종 및 성별 집단 간 MIA 결과의 공정성을 크게 향상시켰다.
• 연구 결과에 따르면 개인 수준의 공정성—유사한 개인은 동일하게 대응되어야 한다—이 DP 적용 후에도 위반될 수 있음을 밝혀내어, 향후 개인 수준의 공정성 분석이 필요함을 시사한다.