[논문 리뷰] Disparate Vulnerability: on the Unfairness of Privacy Attacks Against Machine Learning.

Mohammad Yaghini, Bogdan Kulynych외 1명|arXiv (Cornell University)|2019. 06. 02.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 24

한 줄 요약

이 논문은 평균적으로 효과가 없어 보일 수 있지만, 인구 통계적 하위군(예: 인종 또는 성별) 간에 멤버십 추론 공격(MIAs)의 취약도가 비균형적으로 나타남을 드러낸다. 이는 이러한 불균형이 발생하는 이론적 조건을 규명하고, 공정성 제약이나 차별적 프라이버시를 통해 이를 완화할 수 있는지 평가하며, 하위군 시각에서 모델의 프라이버시 위험을 감시하는 새로운 프레임워크를 제안한다.

ABSTRACT

A membership inference attack (MIA) against a machine learning model enables an attacker to determine whether a given data record was part of the model's training data or not. The effectiveness of these attacks is reported using metrics computed across the whole population (e.g., average attack accuracy). In this paper, we show that the attack success varies across different subgroups of the data (e.g., race, gender), i.e., there is \emph{disparate vulnerability}. Even if MIA's success looks no better than random guessing over the whole population, subgroups can still be vulnerable. We study the necessary and sufficient conditions for a classifier to exhibit disparate vulnerability, and we determine to what extent certain learning techniques (e.g., fairness constraints, differential privacy) can prevent it. Our work provides a theoretical framework for studying MIA attacks from a new perspective.

연구 동기 및 목표

• 멤버십 추론 공격(MIAs)이 인종이나 성별과 같은 데이터의 다양한 하위군 간에 불균형한 성공률을 보이는지 조사하는 것.
• 분류기가 MIAs에 대해 비균형적으로 취약해지는 데 필요한 필수 조건과 충분 조건을 규명하는 것.
• 공정성 제약과 차별적 프라이버시가 MIAs의 비균형적인 취약도를 효과적으로 줄이거나 제거할 수 있는지 평가하는 것.

제안 방법

• 저자는 모델의 멤버십 추론 취약도가 하위군 간에 어떻게 달라지는지에 대한 이론적 조건을 분석하며, 모델의 행동과 데이터 분포에 초점을 맞춘다.
• 모델의 신뢰도와 하위군 간 데이터 표현의 차이에 기반해 비균형적인 취약도가 발생하는지를 결정하는 수학적 조건을 유도한다.
• 공정성 제약과 차별적 프라이버시와 같은 기존 방어 기법의 효과를 하위군별 공격 성공률에 대한 영향을 측정함으로써 평가한다.
• 실제 데이터셋을 활용한 실험 분석을 통해, 전체 정확도가 우호적으로 보일 수 있는 상황에서도 공격 정확도가 인구 통계적 하위군 간에 어떻게 달라지는지 실증한다.
• 집합적 성능 지표를 넘어서 하위군 수준의 프라이버시 위험을 감시할 수 있는 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델이 인구 통계적 하위군 간에 멤버십 추론 공격에 대해 비균형적인 취약도를 보이는 조건은 무엇인가?
• RQ2 모델 훈련 시 적용된 공정성 제약이 하위군별 MIA 성공률을 얼마나 줄이는가?
• RQ3 차별적 프라이버시가 멤버십 추론 공격의 비균형적인 취약도를 효과적으로 완화할 수 있는가?
• RQ4 실제 모델에서 하위군 수준의 공격 정확도는 전체 평균 공격 정확도와 어떻게 비교되는가?

주요 결과

• 평균적으로 멤버십 추론 공격이 효과가 없어 보일 수 있지만, 특정 인종이나 성별 집단 같은 특정 하위군은 상당히 더 취약할 수 있다.
• 모델의 신뢰도 점수가 하위군 간에 체계적으로 다를 경우 비균형적인 취약도가 발생하며, 이는 소수나 차별받는 집단에서 공격 성공률이 높아지는 원인이 된다.
• 훈련 중 적용된 공정성 제약이 반드시 비균형적인 취약도를 줄이지 않으며, 오히려 악화시킬 수도 있다.
• 차별적 프라이버시는 비균형적인 취약도에 강력한 방어 수단이 되어 모든 하위군에서 공격 성공률을 크게 감소시킨다.
• 이 연구는 집합적 성능 지표가 특정 하위군에 대한 심각한 프라이버시 위험을 가리킬 수 있음을 입증하며, 하위군 수준의 감시가 필요하다는 점을 강조한다.