[논문 리뷰] Use the Spear as a Shield: A Novel Adversarial Example based Privacy-Preserving Technique against Membership Inference Attacks

Mingfu Xue, Chengxiang Yuan외 5명|arXiv (Cornell University)|2020. 11. 27.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 5

한 줄 요약

이 논문은 기계학습 모델의 예측에 적대적 편향을 적용하여 멤버십 유추 공격에 대비하는 새로운 프라이버시 보존 기법 AEPPT를 제안한다. 정확도에 영향을 주지 않으면서도 타깃 모델의 출력을 미세하게 수정함으로써 AEPPT는 공격자의 멤버십 유추 정확도와 정밀도를 약 50%로 낮춰 공격를 랜덤 추측 수준으로 효과적으로 무력화시킨다.

ABSTRACT

Recently, the membership inference attack poses a serious threat to the privacy of confidential training data of machine learning models. This paper proposes a novel adversarial example based privacy-preserving technique (AEPPT), which adds the crafted adversarial perturbations to the prediction of the target model to mislead the adversary's membership inference model. The added adversarial perturbations do not affect the accuracy of target model, but can prevent the adversary from inferring whether a specific data is in the training set of the target model. Since AEPPT only modifies the original output of the target model, the proposed method is general and does not require modifying or retraining the target model. Experimental results show that the proposed method can reduce the inference accuracy and precision of the membership inference model to 50%, which is close to a random guess. Further, for those adaptive attacks where the adversary knows the defense mechanism, the proposed AEPPT is also demonstrated to be effective. Compared with the state-of-the-art defense methods, the proposed defense can significantly degrade the accuracy and precision of membership inference attacks to 50% (i.e., the same as a random guess) while the performance and utility of the target model will not be affected.

연구 동기 및 목표

• 기계학습 모델의 훈련 데이터 프라이버시를 침해하는 멤버십 유추 공격의 증가하는 위협을 해결한다.
• 모델의 유용성을 유지하면서도 멤버십 유추 모델을 효과적으로 방해하는 방어 기법을 개발한다.
• 타깃 모델의 재학습이나 아키텍처 변경 없이도 일반적으로 적용 가능한 방어 기법을 만든다.
• 방어 기법을 알고 있는 적대적 공격자에 대해서도 강건성을 확보한다.
• 예측에 추가되는 편향의 크기를 최소화하여 탐지되지 않게 하면서도 보호 효과를 극대화한다.

제안 방법

• 멤버와 비멤버 데이터를 사용하여 대체 멤버십 유추 모델을 훈련시어, 취약한 예측 패턴을 식별한다.
• L1-노름을 사용하여 적대적 편향을 제작함으로써 멤버십 유추 모델을 오도하면서도 타깃 모델의 예측 정확도를 유지한다.
• 기존 모델의 예측에 제작한 편향을 적용하여 멤버십 상태를 은폐하는 적대적 출력을 생성한다.
• 편향의 크기를 작게 유지하여 눈에 띄지 않게 하되, 멤버십 유추 성능을 떨어뜨리는 데 효과적이다 (CIFAR100 기준 L1-노름 ≈ 0.2637).
• 공격자가 모델 구조나 훈련 알고리즘을 알고 있을 수 있는 블랙박스 또는 WHITELIST 위협 모델을 사용하여 강력한 공격 가정 하에서의 강건성을 시험한다.
• 다양한 출력 클래스 수, 공격자 데이터 크기, 다양한 멤버십 유추 모델을 대상으로 방어 성능을 평가하여 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 모델 예측에 적용된 적대적 편향가 멤버십 유추 공격의 성능을 저하시키면서도 타깃 모델의 정확도에 영향을 주지 않게 할 수 있는가?
• RQ2 공격자가 방어 기법을 알고 있는 적응형 공격 상황에서 제안된 방법의 성능은 어떠한가?
• RQ3 멤버십 유추 정확도를 근사적으로 랜덤 추측 수준(즉, 약 50%)으로 낮추기 위해 필요한 최소한의 편향 크기는 얼마인가?
• RQ4 다양한 데이터셋, 모델 아키텍처, 멤버십 유추 모델 변형에 대해 방어 기법은 얼마나 강건한가?
• RQ5 원본 모델의 유용성과 성능을 유지하면서도 강력한 프라이버시 보장을 제공하는가?

주요 결과

• 제안된 AEPPT는 멤버십 유추 모델의 정확도와 정밀도를 약 50%로 낮춰 랜덤 추측 수준과 동일한 성능을 달성한다.
• CIFAR100 데이터셋에서 멤버십 유추 모델의 재현율은 AEPPT 적용 후 88.7%에서 51.9%로 감소한다.
• Purchase 데이터셋에서는 재현율이 98.5%에서 17.1%로 감소하여 매우 정확한 공격 모델에도 강력한 저항성을 보여준다.
• CIFAR100 기준으로 추가된 적대적 편향의 L1-노름은 0.2637에 불과하여 예측에 대한 수정이 미미하고 눈에 띄지 않음을 시사한다.
• 공격자가 방어 기법을 알고 있는 적응형 공격 상황에서도 방어 기법이 효과적으로 유지되며, 모델 구조나 훈련 알고리즘에 대한 지식이 포함된 경우에도 마찬가지다.
• 출력 클래스 수, 공격자 데이터 크기, 다양한 멤버십 유추 모델에 대해 방어 기법은 강건하며, 뛰어난 일반화 능력을 보여준다.