[論文レビュー] Statistical MIA: Rethinking Membership Inference Attack for Reliable Unlearning Auditing

Jialong Sun, Zeming Wei+6 more|arXiv (Cornell University)|Feb 1, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

SMIA は、MIA ベースの監査による幻覚的忘却を解消し、信頼区間付きの忘却率を推定する、トレーニング不要の統計ベース監査フレームワークを提供します。

ABSTRACT

Machine unlearning (MU) is essential for enforcing the right to be forgotten in machine learning systems. A key challenge of MU is how to reliably audit whether a model has truly forgotten specified training data. Membership Inference Attacks (MIAs) are widely used for unlearning auditing, where samples that evade membership detection are often regarded as successfully forgotten. After carefully revisiting the reliability of MIA, we show that this assumption is flawed: failed membership inference does not imply true forgetting. We theoretically demonstrate that MIA-based auditing, when formulated as a binary classification problem, inevitably incurs statistical errors whose magnitude cannot be observed during the auditing process. This leads to overly optimistic evaluations of unlearning performance, while incurring substantial computational overhead due to shadow model training. To address these limitations, we propose Statistical Membership Inference Attack (SMIA), a novel training-free and highly effective auditing framework. SMIA directly compares the distributions of member and non-member data using statistical tests, eliminating the need for learned attack models. Moreover, SMIA outputs both a forgetting rate and a corresponding confidence interval, enabling quantified reliability of the auditing results. Extensive experiments show that SMIA provides more reliable auditing with significantly lower computational cost than existing MIA-based approaches. Notably, the theoretical guarantees and empirical effectiveness of SMIA suggest it as a new paradigm for reliable machine unlearning auditing.

研究の動機と目的

• MIA ベースの忘却監査の信頼性を問う。
• 分布比較による忘却監査を実装するトレーニング不要な方法を提案する。
• 監査の信頼性を定量化するための信頼区間付きの忘却率推定を提供する。
• RKHS/MMD ベースのアプローチが低い計算コストで堅牢な監査を実現することを示す。

提案手法

• SMIA をトレーニング不要のモデルアグノスティックな監査フレームワークとして導入する。
• SMIA-0」「SMIA-M」「SMIA-W」変種を定義し、それぞれ低次のモーメント、カーネル平均埋め込み（RKHS）、ワッサースタイン距離を使用する。
• 監査データを混合分布 D_f = alpha D_t^v + (1-alpha) D_t^t とモデル化し、分布統計量の最適化を通じて alpha を推定する。
• ブートストラップを用いて忘却率 alpha の信頼区間を導出する。
• SMIA-M では分布を RKHS に埋め込み、二次モーメントを一次情報へ変換して効率的な最適化を図る。
• SMIA-W ではエントロピー正則化付きワッサースタイン距離を用いて頑健な分布距離推定を行う。

Figure 1 : The relationship between the proportion of non-member data and successful TNR detection, under the configuration of MIA accuracy=0.99 and member detection success rate 0.9999.

実験結果

リサーチクエスチョン

• RQ1 MIA ベースの監査は忘却について信頼できる結論を導けるのか、それとも分布の変化が幻覚的な忘却を生み出すのか？
• RQ2 トレーニング不要・モデルフリーの監査手法は忘却率を正確に推定し、信頼区間を提供できるのか？
• RQ3 カーネル/RKHS ベースのアプローチ（SMIA-M）は従来の MIA 手法と比べて堅牢で効率的な監査を提供するのか？
• RQ4 実際の忘却監査シナリオにおける SMIA の各変種（SMIA-0、SMIA-M、SMIA-W）の相対的な性能とコストはどうか？

主な発見

• SMIA は学習済みの攻撃モデルを回避することで、従来の MIA ベースの方法より信頼性の高い監査を提供する。
• SMIA-0 および SMIA-M はデータセット間で忘却監査の識別性を強く発揮し、最先端の MIA ベースのベースラインよりも優れている。
• SMIA-W は報告された実験で堅牢な監査を示さず、今後の評価には推奨されない。
• SMIA-M はカーネル平均埋め込みに基づき、サンプル要件が小さく、計算特性が有利で堅牢性を提供する。
• ブートストラップを用いた信頼区間により、忘却率推定の信頼性を定量化して評価できる。
• SMIA はシャドーモデルベースの MIA 手法より計算コストが低く、シャドーモデルの訓練を必要としない。

Figure 2 : (a) The dilemma faced by the attacker; (b) The dilemma faced by the auditer.