[논문 리뷰] Statistical MIA: Rethinking Membership Inference Attack for Reliable Unlearning Auditing

Jialong Sun, Zeming Wei외 6명|arXiv (Cornell University)|2026. 02. 01.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

SMIA는 훈련 없이도 통계 기반의 감사 프레임워크로, 멤버 데이터 분포와 비멤버 데이터 분포를 직접 비교하여 잊힘 비율을 신뢰구간과 함께 추정하고, MIA 기반 감사로 인한 착시적 잊힘을 다룬다.

ABSTRACT

Machine unlearning (MU) is essential for enforcing the right to be forgotten in machine learning systems. A key challenge of MU is how to reliably audit whether a model has truly forgotten specified training data. Membership Inference Attacks (MIAs) are widely used for unlearning auditing, where samples that evade membership detection are often regarded as successfully forgotten. After carefully revisiting the reliability of MIA, we show that this assumption is flawed: failed membership inference does not imply true forgetting. We theoretically demonstrate that MIA-based auditing, when formulated as a binary classification problem, inevitably incurs statistical errors whose magnitude cannot be observed during the auditing process. This leads to overly optimistic evaluations of unlearning performance, while incurring substantial computational overhead due to shadow model training. To address these limitations, we propose Statistical Membership Inference Attack (SMIA), a novel training-free and highly effective auditing framework. SMIA directly compares the distributions of member and non-member data using statistical tests, eliminating the need for learned attack models. Moreover, SMIA outputs both a forgetting rate and a corresponding confidence interval, enabling quantified reliability of the auditing results. Extensive experiments show that SMIA provides more reliable auditing with significantly lower computational cost than existing MIA-based approaches. Notably, the theoretical guarantees and empirical effectiveness of SMIA suggest it as a new paradigm for reliable machine unlearning auditing.

연구 동기 및 목표

• MIA 기반의 언로닝 감사의 신뢰성을 의심한다.
• 분포 간 비교를 통해 잊힘을 감사하는 훈련 없이 가능한 방법을 제안한다.
• 감사 신뢰성을 정량화하기 위한 신뢰구간과 함께 잊힘 비율 추정치를 제공한다.
• RKHS/MMD 기반 접근이 더 낮은 계산 비용으로 견고한 감사 성능을 보이는지 보여준다.

제안 방법

• SMIA를 훈련-free, 모델 비의존적 감사 프레임워크로 도입한다.
• SMIA-0, SMIA-M, SMIA-W 변형을 정의하여 각각 저차 모멘트, 커널 평균 포함(RKHS), 그리고 Wasserstein 거리를 사용한다.
• 감사 데이터를 D_f = alpha D_t^v + (1-alpha) D_t^t의 혼합으로 모델링하고 분포 통계치를 최적화하여 alpha를 추정한다.
• 부트스트랩을 사용하여 잊힘 비율 alpha의 신뢰구간을 도출한다.
• SMIA-M에서는 분포를 RKHS에 매핑해 이차 모멘트를 일차 정보로 변환하여 최적화를 효율화한다.
• SMIA-W에서는 엔트로피 규제된 Wasserstein 거리를 사용하여 견고한 분포 거리 추정을 수행한다.

Figure 1 : The relationship between the proportion of non-member data and successful TNR detection, under the configuration of MIA accuracy=0.99 and member detection success rate 0.9999.

실험 결과

연구 질문

• RQ1 MIA 기반 감사가 잊힘에 대해 신뢰할 수 있는 결론을 도출할 수 있는가, 아니면 분포 변화가 착시적 잊힘을 야기하는가?
• RQ2 훈련 없이도 가능한 모델리스 감사 방법이 잊힘 비율을 정확히 추정하고 신뢰구간을 제공할 수 있는가?
• RQ3 커널/RKHS 기반 접근(SMIA-M)이 전통적 MIA 방법에 비해 견고하고 효율적인가?
• RQ4 실무상의 언로닝 감사 시나리오에서 SMIA 변형(SMIA-0, SMIA-M, SMIA-W)의 상대적 성능과 비용은 어떠한가?

주요 결과

• SMIA는 학습된 공격 모델을 피함으로써 전통적인 MIA 기반 접근보다 더 신뢰할 수 있는 감사 성능을 제공한다.
• SMIA-0 및 SMIA-M은 데이터 세트 간의 언로닝 감사에서 강한 구분력을 달성하며 최첨단 MIA 기준선을 능가한다.
• SMIA-W는 보고된 실험에서 덜 견고한 감사 성능을 보였으며 추가 평가에 권장되지 않는다.
• SMIA-M은 커널 평균 포함에 기반하여 더 작은 샘플 요건과 바람직한 계산 특성으로 견고함을 제공한다.
• 부트스트랩 기반 신뢰구간은 잊힘 비율 추정의 신뢰성을 정량화해 준다.
• SMIA는 그림자 모델 기반 MIA 방법보다 계산 비용이 낮으며 그림자 모델 학습이 필요하지 않다.

Figure 2 : (a) The dilemma faced by the attacker; (b) The dilemma faced by the auditer.