[논문 리뷰] How to Combine Membership-Inference Attacks on Multiple Updated Models

Matthew Jagielski, Stanley Wu외 3명|arXiv (Cornell University)|2022. 05. 12.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 기존 모델과 업데이트된 기계학습 모델에 대해 별도의 멤버십 인식 공격에서 도출된 신뢰도 점수를 조합하여 공격 정확도를 크게 향상시키는 새로운 블랙박스 멤버십 인식 공격을 제안한다. 모델 업데이트와 분포 이탈을 활용함으로써 제안된 ScoreDiff 및 / 조합 함수는 기존의 기계 학습 삭제를 위한 공격 방식을 포함한 이전 방법들을 뛰어넘으며, 단일 샤로우 모델만을 사용함으로써 더 높은 AUC와 정밀도를 달성한다. 특히 소규모 업데이트 세트와 극단적인 분포 이탈 조건에서 뛰어난 성능을 보인다.

ABSTRACT

A large body of research has shown that machine learning models are vulnerable to membership inference (MI) attacks that violate the privacy of the participants in the training data. Most MI research focuses on the case of a single standalone model, while production machine-learning platforms often update models over time, on data that often shifts in distribution, giving the attacker more information. This paper proposes new attacks that take advantage of one or more model updates to improve MI. A key part of our approach is to leverage rich information from standalone MI attacks mounted separately against the original and updated models, and to combine this information in specific ways to improve attack effectiveness. We propose a set of combination functions and tuning methods for each, and present both analytical and quantitative justification for various options. Our results on four public datasets show that our attacks are effective at using update information to give the adversary a significant advantage over attacks on standalone models, but also compared to a prior MI attack that takes advantage of model updates in a related machine-unlearning setting. We perform the first measurements of the impact of distribution shift on MI attacks with model updates, and show that a more drastic distribution shift results in significantly higher MI risk than a gradual shift. Our code is available at https://www.github.com/stanleykywu/model-updates.

연구 동기 및 목표

• 실제 기계학습 시스템이 시간이 지남에 따라 모델을 업데이트하는 현실을 반영하여, 별도의 모델에 집중한 멤버십 인식(MI) 연구의 격차를 해소하기 위함.
• 모델 업데이트와 분포 이탈이 멤버십 인식 위험에 미치는 영향을 연구하며, 특히 새로운 데이터로 재학습되는 생산 환경에서의 영향을 분석하기 위함.
• 기존 모델과 업데이트된 모델의 별도 멤버십 인식 신뢰도 점수를 융합하여 공격 효과를 향상시키는 새로운 조합 함수를 개발하고 평가하기 위함.
• 제안된 공격 방식을 기존의 MI 공격 및 기계 학습 삭제 기반 공격과 비교하여, 현실적인 위협 모델 하에서 뛰어난 성능을 보임을 입증하기 위함.
• 분포 이탈이 멤버십 인식 위험에 미치는 영향을 측정하며, 극단적인 이탈이 점진적인 이탈보다 개인정보 유출 위험을 더 크게 증가시킴을 보여주기 위함.

제안 방법

• 기존 모델과 업데이트된 모델 양쪽에서 LiRA와 같은 최신 기술 기반의 별도 멤버십 인식 공격을 사용해 신뢰도 점수를 계산한다.
• 기존 모델과 업데이트된 모델의 신뢰도 점수를 통합하여 더 구분력 있는 통계 검정 통계량을 만드는 조합 함수인 ScoreDiff 및 /를 도입한다.
• 조합 함수의 임계값을 설정하기 위해 단일 샤로우 모델을 사용하며, 복잡한 앙상블 학습이 필요로 하지 않다.
• 블랙박스 환경을 고려해 설계되었으며, 훈련 데이터나 모델 파라미터에 접근할 필요 없이 모델 출력(예: 클래스 확률)만 필요하다.
• 이론적 타당성과 함께, 다양한 업데이트 크기와 분포 이탈 조건 하에서 네 개의 공개 데이터셋을 대상으로 실험적으로 검증되었다.
• 저자들은 Chen 등 [9]의 SortedDiff 공격를 적응 및 비교하여, 제안된 특징이 학습된 공격 모델에서 SortedDiff 특징보다 7.5배 더 높은 기여도를 가짐을 보였다.

실험 결과

연구 질문

• RQ1 기존 모델과 업데이트된 모델의 정보를 융합함으로써 멤버십 인식 공격는 어떻게 향상될 수 있는가?
• RQ2 업데이트된 모델에서 분포 이탈은 멤버십 인식 위험에 어떤 영향을 미치는가?
• RQ3 여러 버전의 모델에서 도출된 신뢰도 점수를 융합할 때 단일 샤로우 모델만으로도 높은 공격 성능을 달성할 수 있는가?
• RQ4 제안된 조합 함수(ScoreDiff 및 /)는 기계 학습 삭제 문헌에서 유래한 기존 공격들과 비교해 어떻게 다른가?
• RQ5 업데이트 세트의 크기가 모델 업데이트 환경에서 멤버십 인식 공격의 효과성에 영향을 미치는가?

주요 결과

• 제안된 ScoreDiff 및 / 공격는 단일 샤로우 모델만을 사용함에도 불구하고, Chen 등 [9]의 SortedDiff를 포함한 기존 기술들을 뛰어넘어 일관되게 뛰어난 성능을 보였다.
• 기본 방법 대비 상당히 높은 AUC를 달성했으며, 특히 소규모 업데이트 세트와 극단적인 분포 이탈 조건에서 성능 향상이 두드러졌다.
• 학습된 공격 모델에서 제안된 통계 검정 통계량에 할당된 평균 가중치는 SortedDiff 특징 대비 7.5배 높았으며, 이는 더 뛰어난 구분 능력을 의미한다.
• 극단적인 분포 이탈은 MI 위험을 크게 증가시키며, 이는 모델이 새로운 데이터에 과적합해야 하므로 기억력이 증가하고 공격 성공률가 상승하기 때문이다.
• 소규모 업데이트 크기와 높은 분포 이탈 조건에서 SGD-New로 업데이트된 모델은 SGD-Full보다 더 취약한 것으로 나타났지만, 업데이트 세트가 커지면서 이 경향은 반전되었다.
• 본 연구는 모델 업데이트 환경에서 분포 이탈이 MI 공격에 미치는 영향을 처음으로 실증적으로 측정하였으며, 이격 정도와 공격 효과성 사이에 강한 상관관계가 있음을 드러냈다.