[논문 리뷰] Towards Measuring Membership Privacy

Yunhui Long, Vincent Bindschaedler외 1명|arXiv (Cornell University)|2017. 12. 25.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 63

한 줄 요약

논문은 Differential Training Privacy (DTP)를 경험적 지표로 도입하여 차등 프라이버시가 적용될 수 없을 때 분류기의 멤버십 추론 위험을 정량화하고, PDTP를 효율적으로 계산 가능한 하한으로 제안합니다. 또한 DTP/PDTP가 멤버십 공격 성공을 예측함을 보이고, DTP-1을 발행 지침으로 권고합니다.

ABSTRACT

Machine learning models are increasingly made available to the masses through public query interfaces. Recent academic work has demonstrated that malicious users who can query such models are able to infer sensitive information about records within the training data. Differential privacy can thwart such attacks, but not all models can be readily trained to achieve this guarantee or to achieve it with acceptable utility loss. As a result, if a model is trained without differential privacy guarantee, little is known or can be said about the privacy risk of releasing it. In this work, we investigate and analyze membership attacks to understand why and how they succeed. Based on this understanding, we propose Differential Training Privacy (DTP), an empirical metric to estimate the privacy risk of publishing a classier when methods such as differential privacy cannot be applied. DTP is a measure of a classier with respect to its training dataset, and we show that calculating DTP is efficient in many practical cases. We empirically validate DTP using state-of-the-art machine learning models such as neural networks trained on real-world datasets. Our results show that DTP is highly predictive of the success of membership attacks and therefore reducing DTP also reduces the privacy risk. We advocate for DTP to be used as part of the decision-making process when considering publishing a classifier. To this end, we also suggest adopting the DTP-1 hypothesis: if a classifier has a DTP value above 1, it should not be published.

연구 동기 및 목표

• DP 보장이 없는 공개 질의에 노출된 분류기를 발표하는 것의 프라이버시 위험을 동기 부여하고 정량화한다.
• DTP를 개발하여 분류기 및 데이터세트 특이적 프라이버시 메트릭( DTP )를 만들어 멤버십 누출을 측정한다.
• PDTP를 DTP의 효율적으로 계산 가능한 하한으로 도입하고 이를 직접 멤버십 공격과 연결한다.
• 실제 데이터셋과 일반 모델에서 DTP/PDTP를 검증하여 MLaaS의 발표 결정에 도움을 준다.
• 발표 임계치로서 DTP-1 가설을 제안한다.

제안 방법

• Differential Training Privacy(DTP)를 훈련 레코드가 빠져 있을 때 예측이 어떻게 변하는지에 대한 상한으로 정의하고 형식화한다.
• Leave-one-out 평가를 사용하여 DTP의 계산 효율적인 프록시로 PDTP를 제안한다.
• 일반 멤버십 공격 프레임워크(untargeted, distance-based, frequency-based) 및 섀도우 모델 기반 공격을 구성하여 프라이버시를 평가한다.
• 실제 데이터셋(UCI Adult, NN-Purchase)과 여러 모델(NN, NB, LR)에서 예측 이진화로 측정의 안정화를 도모하며 평가한다.
• 훈련 안정성을 분석하고 직접 공격이 간접 공격보다 지배적일 때의 이론적 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 DTP와 같은 경험적 비-DP 메트릭을 사용하여 분류기의 멤버십 프라이버시 위험을 정량화할 수 있는가?
• RQ2 PDTP가 DTP의 신뢰할 수하고 효율적인 하한이며 실제 멤버십 공격 성공과 상관관계가 있는가?
• RQ3 DTP-1 임계치(DTP > 1이면 게시하지 말라)는 데이터셋과 모델 전반에서 일관되게 성립하는가?
• RQ4 훈련 과적합이나 학습 안정성이 멤버십 추론 공격에 얼마나 영향을 미치는가?
• RQ5 공격 유형(untargeted, distance-based, frequency-based)과 PDTP/DTP 측정치 간의 관계는 무엇인가?

주요 결과

• DTP 값은 실험 전반에서 멤버십 공격 성공과 강하게 상관관계가 있음(예: NN-Purchase: distance-based 공격에 대해 r = 0.7653; 전반적으로 강한 공격 상관관계).
• DTP 값이 0.5 미만인 경우 공격이 정확도에서 기댓값 이하로 멤버십을 추론하지 못했고, DTP가 4를 초과하면 공격의 정확도가 자주 90%를 넘음.
• PDTP는 DTP의 하한을 제공하고 leave-one-out 평가를 통해 멤버십 프라이버시 위험의 효율적인 지표로 기능한다.
• 세 가지 분석된 직접 공격은 서로 다른 성능을 보였으며, 거리 기반 공격이 최고 정확도(예: 0.8533)와 PDTP와의 strongest correlation을 보였다.
• DTP-1 가설이 실용적 가이드라인으로 뒷받침되며: DTP > 1인 분류기는 게시하지 않아야 한다.
• 훈련 안정성은 핵심 요인으로 확인되었고, Naive Bayes, 무작위 결정 트리, 선형 통계 질의는 훈련 안정성을 만족하는 반면 k-NN은 그렇지 않다.