[논문 리뷰] ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Learning Models

Ahmed Salem, Yang Zhang외 4명|arXiv (Cornell University)|2018. 06. 04.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 기계 학습 모델에 대한 모델 및 데이터에 종속되지 않는 멤버십 추론 공격을 처음으로 제안하며, 단 하나의 샤로우 모델 또는 심지어 샤로우 모델이 전혀 없더라도 효과적인 공격가능성을 입증한다. 저자들은 또한 드롭아웃과 모델 스태킹이라는 두 가지 실용적인 방어 기법을 제안하여 공격 성공률를 크게 감소시키면서도 여덟 개의 다양한 데이터셋에서 모델의 유용성을 유지한다.

ABSTRACT

Machine learning (ML) has become a core component of many real-world applications and training data is a key factor that drives current progress. This huge success has led Internet companies to deploy machine learning as a service (MLaaS). Recently, the first membership inference attack has shown that extraction of information on the training set is possible in such MLaaS settings, which has severe security and privacy implications. However, the early demonstrations of the feasibility of such attacks have many assumptions on the adversary, such as using multiple so-called shadow models, knowledge of the target model structure, and having a dataset from the same distribution as the target model's training data. We relax all these key assumptions, thereby showing that such attacks are very broadly applicable at low cost and thereby pose a more severe risk than previously thought. We present the most comprehensive study so far on this emerging and developing threat using eight diverse datasets which show the viability of the proposed attacks across domains. In addition, we propose the first effective defense mechanisms against such broader class of membership inference attacks that maintain a high level of utility of the ML model.

연구 동기 및 목표

• 기존 연구에 비해 훨씬 완화된 가정 조건 하에서도 기계 학습 모델에 대한 멤버십 추론 공격가능성이 있음을 입증하는 것.
• 공격자가 대상 모델의 아키텍처나 훈련 데이터 분포에 접근할 수 없더라도 공격가능성이 여전히 높을 수 있음을 보여주는 것.
• 모델 성능을 떨어뜨리지 않으면서 멤버십 추론 위험을 줄이는 새로운 방어 기법을 개발하고 평가하는 것.
• 다양한 기계 학습 응용 분야와 데이터셋에서 멤버십 추론 위협의 일반성과 실용성을 확립하는 것.

제안 방법

• 다수의 샤로우 모델이 필요 없이 단일 샤로우 모델만으로도 공격를 수행할 수 있도록 하는 공격 기법을 제안하여 비용과 복잡성을 크게 감소시킴.
• 다른 데이터셋을 사용해 샤로우 모델를 훈련시키는 데이터 전이 공격을 도입하여, 대상 모델의 훈련 데이터 분포에 접근하지 않더라도 공격를 수행할 수 있도록 함.
• 샤로우 모델를 구축할 필요가 없이 대상 모델의 출력 행동만을 기반으로 하는 비지도 멤버십 추론 공격을 개발함.
• 훈련 중 드롭아웃 정규화를 적용하여 모델 과적합을 줄이고, 결과적으로 멤버십 유출을 감소시킴.
• 여러 개의 기본 모델을 통합하여 계층적 앙상블을 구성하는 모델 스태킹을 활용하여 멤버십 추론에 대한 강건성을 향상시킴.
• 여러 기계 학습 모델(예: CNN, MLP 등)을 사용하여 이미지, 텍스트, 표 형식 데이터를 포함한 여덟 개의 다양한 데이터셋에서 공격 및 방어 성능을 평가함.

실험 결과

연구 질문

• RQ1 다수의 모델 대신 단일 샤로우 모델만을 사용할 경우 멤버십 추론 공격가능성이 여전히 효과적인가?
• RQ2 대상 모델의 훈련 데이터 분포와 동일한 분포를 가지지 않은 데이터를 사용할 경우 멤버십 추론의 정도는 어느 정도인가?
• RQ3 모든 샤로우 모델를 구축하지 않고도 완전히 비지도 방식으로 멤버십 추론을 수행할 수 있는가?
• RQ4 드롭아웃과 모델 스태킹과 같은 방어 기법이 멤버십 추론 성공률를 효과적으로 낮추면서도 높은 모델 정확도를 유지할 수 있는가?

주요 결과

• 단일 샤로우 모델를 사용할 경우, 이전 연구에서 10개의 샤로우 모델를 사용한 방법과 거의 동일한 공격 성능(예: CNN 기반 CIFAR-100에서 정밀도 0.95, 재현율 0.95)을 달성함.
• 데이터 전이 공격—비유사 데이터셋을 사용해 샤로우 모델를 훈련시키는 방식—는 강력한 멤버십 추론 성능을 보이며, 광범위한 적용 가능성을 입증함.
• 샤로우 모델가 필요 없이 대상 모델의 출력 행동만을 기반으로 하는 비지도 공격도 효과적인 멤버십 추론을 가능하게 하여 위협이 광범위하게 존재함을 증명함.
• 드롭아웃을 활용한 제안된 방어 기법은 모든 평가된 데이터셋에서 높은 모델 정확도를 유지하면서도 멤버십 추론 공격 성공률를 크게 감소시킴.
• 모델 스태킹을 방어 기법으로 사용할 경우도 공격 성능를 효과적으로 낮추며, 대상 모델의 예측 유용성에 미미한 영향을 미침.
• 두 방어 기법을 병합할 경우 테스트된 여덟 개의 다양한 데이터셋에서 멤버십 추론 성공률가 상당히 감소함.