[논문 리뷰] Membership-Doctor: Comprehensive Assessment of Membership Inference Against Machine Learning Models

Xinlei He, Zheng Li외 3명|arXiv (Cornell University)|2022. 08. 22.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 다양한 모델, 데이터셋, 위협 모델에서 멤버십 유추 공격 및 방어를 평가하기 위한 종합적인 벤치마크 프레임워크인 Membership-Doctor를 소개한다. Jensen-Shannon 발산을 통한 엔트로피/교차엔트로피 분포 분석이 과적합도보다 공격 성공률을 더 잘 예측하며, 데이터 증강이 기존 공격를 크게 약화시키고 모델의 유틸리티를 향상시켜 새로운 효과적인 방어 전략을 제공한다.

ABSTRACT

Machine learning models are prone to memorizing sensitive data, making them vulnerable to membership inference attacks in which an adversary aims to infer whether an input sample was used to train the model. Over the past few years, researchers have produced many membership inference attacks and defenses. However, these attacks and defenses employ a variety of strategies and are conducted in different models and datasets. The lack of comprehensive benchmark, however, means we do not understand the strengths and weaknesses of existing attacks and defenses. We fill this gap by presenting a large-scale measurement of different membership inference attacks and defenses. We systematize membership inference through the study of nine attacks and six defenses and measure the performance of different attacks and defenses in the holistic evaluation. We then quantify the impact of the threat model on the results of these attacks. We find that some assumptions of the threat model, such as same-architecture and same-distribution between shadow and target models, are unnecessary. We are also the first to execute attacks on the real-world data collected from the Internet, instead of laboratory datasets. We further investigate what determines the performance of membership inference attacks and reveal that the commonly believed overfitting level is not sufficient for the success of the attacks. Instead, the Jensen-Shannon distance of entropy/cross-entropy between member and non-member samples correlates with attack performance much better. This gives us a new way to accurately predict membership inference risks without running the attack. Finally, we find that data augmentation degrades the performance of existing attacks to a larger extent, and we propose an adaptive attack using augmentation to train shadow and attack models that improve attack performance.

연구 동기 및 목표

• 다양한 모델, 데이터셋, 위협 모델에서 멤버십 유추 공격 및 방어를 평가하기 위한 종합적인 벤치마크가 부족한 문제를 해결하기 위해.
• 다양한 실험 조건에서 9개의 최신 공격 및 6개의 방어 기법의 성능을 체계적으로 평가하기 위해.
• 그림자 모델과 타겟 모델 간 동일 아키텍처 또는 동일 분포라는 일반적인 위협 모델 가정이 실제로 필요한지 조사하기 위해.
• 과적합 이외의 내재적 요인이 공격 성공에 미치는 영향을 규명하고, 실제 세계 데이터와 데이터 증강의 영향을 평가하기 위해.
• 새로운 공격, 방어, 데이터셋, 모델의 통합을 지원하는 모듈러하고 확장 가능한 프레임워크인 Membership-Doctor를 개발하기 위해.

제안 방법

• 저자는 네 가지 모델 아키텍처(VGG11, MobileNetV2, ResNet18, ResNet34)와 여섯 가지 벤치마크 데이터셋(CIFAR10, CIFAR100, Place20/40/60/80)을 기반으로, 9개의 멤버십 유추 공격 및 6개의 방어 기법을 통합한 모듈러 프레임워크인 Membership-Doctor를 구현하였다.
• 1,296개의 공격 시나리오를 전부 평가하여, 그림자 모델 아키텍처 및 데이터 분포를 포함한 위협 모델 가정을 체계적으로 변화시켰다.
• 프레임워크를 통해 실제 조건에서의 공격 성능 측정이 가능하며, 실험실 데이터셋 대신 인터넷에서 수집한 데이터를 사용한 공격도 가능하다.
• 멤버 및 비멤버 샘플의 엔트로피 및 교차엔트로피 분포 간 Jensen-Shannon 발산을 계산하여 공격 성공률을 예측하였다.
• 데이터 증강이 공격 및 방어 성능에 미치는 영향을 평가하고, 그림자 및 공격 모델 학습 시 증강을 활용하는 적응형 공격을 제안하였다.
• 특히 DP-SGD, MixupMMD, 레이블 스무딩에 대해 방어 기법의 하이퍼파라미터를 튜닝하여 프라이버시-유틸리티 트레이드오프를 탐색하였다.

실험 결과

연구 질문

• RQ1 고정된 실험 시나리오에서 가장 높은 성능을 보이는 멤버십 유추 공격 및 방어는 무엇인가?
• RQ2 그림자 모델과 타겟 모델 간 동일 아키텍처 또는 동일 분포라는 위협 모델의 다양한 가정이 공격 성능에 미치는 영향은 무엇인가?
• RQ3 과적합 이외의 내재적 요인이 멤버십 유추 공격의 성공에 기여하는 요소는 무엇인가?
• RQ4 인터넷에서 수집한 실제 세계 데이터를 사용할 경우 멤버십 유추 공격의 효과성은 어떠한가?
• RQ5 데이터 증강은 공격 및 방어 성능에 어떤 영향을 미치며, 이를 방어 수단으로 활용할 수 있는가?

주요 결과

• NN-normal+label 공격가 모든 평가된 공격 중에서 가장 높은 성능을 보였으며, 메트릭 기반 공격는 낮은 계산 비용으로 유사한 성능를 제공한다.
• MixupMMD와 DP-SGD가 가장 효과적인 방어 기법이며, MixupMMD는 다른 방어 기법 대비 모델 유틸리티를 더 잘 유지한다.
• 그림자 모델과 타겟 모델 간 동일 아키텍처 또는 동일 분포라는 가정은 효과적인 공격를 위해 필수적이지 않으며, 이는 이전의 가정을 도전한다.
• 멤버 및 비멤버 샘플 간 엔트로피와 교차엔트로피의 Jensen-Shannon 발산은 공격 성능과 강하게 상관되며, 공격을 실행하지 않고도 위험을 예측할 수 있다.
• 데이터 증강은 기존 공격를 크게 떨어뜨리고 강력한 방어 수단으로 작용하여 프라이버시와 모델 유틸리티를 동시에 향상시킨다.
• 그림자 및 공격 모델 학습 시 데이터 증강을 활용하는 적응형 공격는 데이터 증강을 적용한 모델에 대해 표준 공격보다 뛰어난 성능을 보였다.