[논문 리뷰] Membership Inference Attacks From First Principles

Nicholas Carlini, Steve Chien외 4명|arXiv (Cornell University)|2021. 12. 07.

Adversarial Robustness in Machine Learning인용 수 30

한 줄 요약

요약: 이 논문은 멤버십 추론 공격의 평균적 평가를 비판하고 LiRA를 도입한다. LiRA는 매우 낮은 FPR에서 최대 10배의 높은 실제 양성율을 달성하며, 여러 데이터셋에서 시연된다.

ABSTRACT

A membership inference attack allows an adversary to query a trained machine learning model to predict whether or not a particular example was contained in the model's training dataset. These attacks are currently evaluated using average-case "accuracy" metrics that fail to characterize whether the attack can confidently identify any members of the training set. We argue that attacks should instead be evaluated by computing their true-positive rate at low (e.g., <0.1%) false-positive rates, and find most prior attacks perform poorly when evaluated in this way. To address this we develop a Likelihood Ratio Attack (LiRA) that carefully combines multiple ideas from the literature. Our attack is 10x more powerful at low false-positive rates, and also strictly dominates prior attacks on existing metrics.

연구 동기 및 목표

• 멤버십 추론 공격은 평균적 지표가 아닌 낮은 거짓 양성율에서의 실제 양성율로 평가해야 한다는 점을 주장한다.
• 예시별 난이도와 가우시안 가능도 추정을 결합한 원리적 공격을 개발한다.
• 이전 공격이 낮은 FPR에서 성능이 미흡함을 보여주고 LiRA가 다양한 데이터셋에서 우수한 성능을 보임을 입증한다.

제안 방법

• 목표 예시를 기준으로 IN(훈련 중)와 OUT(훈련 외) 분포 간의 가설 검정으로 멤버십 추론을 형식화한다.
• 섀도우 모델을 사용해 IN/OUT 시나리오에서 예시별 손실 분포를 추정하고 로짓으로 변환된 신뢰도에 가우시안을 피팅한다.
• IN 대비 OUT 가능도 비를 이용한 가설 검정인 Likelihood Ratio Test(LiRA)를 도출한다.
• 정확도와 효율성의 균형을 맞추기 위해 온라인(쿼리당 섀도우 모델) 및 오프라인(사전 학습된 섀도우 모델) 변형의 LiRA를 제공한다.
• 목표에 대해 여러 보강 샘플을 사용해 다변량 공간에서 로짓 공간의 다변량 가우시안을 형성하는 방식으로 LiRA를 다변량 쿼리에 확장한다.
• 복제 가능한 오픈 소스 구현을 제공한다.

실험 결과

연구 질문

• RQ1 아주 낮은 거짓 양성율에서 실제 프라이버시 위험을 반영하도록 멤버십 추론 공격을 어떻게 평가해야 하는가?
• RQ2 예시별 난이도에 의존하는 가능도 비 프레임워크가 이전 공격에 비해 멤버십 추론의 효과를 크게 향상시킬 수 있는가?
• RQ3 섀도우 모델 기반 추정이 데이터셋과 모델 아키텍처 전반에 걸쳐 일반화되어 견고한 LiRA 배치를 가능하게 하는가?
• RQ4 온라인 LiRA와 오프라인 LiRA 간의 효율성과 정확도 간 트레이드오프는 무엇인가?
• RQ5 LiRA가 CIFAR-10, CIFAR-100, ImageNet, WikiText-103 데이터셋에서 어떻게 성능을 보이는가?

주요 결과

• LiRA는 CIFAR-10 모델에서 거짓 양성율이 낮은 구간에서 기존 공격보다 약 10배 더 높은 실제 양성율을 달성한다(테스트 정확도 92%).
• 이전 공격은 FPR이 0.1% 미만일 때 제한된 실제 양성율을 보이고 종종 AUC와 같은 잘못된 요약 지표를 제시한다.
• 모델 신뢰도는 로짓 공간에서 더 잘 분석되며, 예시별 IN/OUT 분포를 가우시안으로 모형화할 수 있다.
• 다양한 데이터셋(CIFAR-10/100, ImageNet, WikiText-103) 및 대규모 벤치마크를 포함한 여러 학습 설정에서도 공격은 효과적이다.
• 오프라인 변형의 LiRA는 사전에 학습된 섀도우 모델과 한쪽 가설검정을 활용하여 계산 비용을 낮추면서도 성능을 유지한다.
• 이 방법은 멤버십 추론에서 예시별 난이도와 기억화(memorization) 동작의 중요성을 강조한다.