[論文レビュー] Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture

Xinyu Tang, Saeed Mahloujifar+5 more|arXiv (Cornell University)|Oct 15, 2021

Privacy-Preserving Technologies in Data参考文献 55被引用数 22

ひとこと要約

本論文では、Split-AIアンサンブルアーキテクチャと自己蒸留を組み合わせることで、機械学習モデルにおけるメンバーシッププライバシーを強化する、新しい防御フレームワークSELENAを提案する。ランダムなデータサブセット上でサブモデルを訓練し、訓練データに含まれないモデルからの予測を適応的に集約することで、MemGuardと比較して最大3.7倍、敵対的正則化と比較して最大2.1倍、メンバーシップ推定攻撃の成功率を低下させる。ベンチマークデータセットでは、精度の低下が3.9%未満に抑えられる。

ABSTRACT

Membership inference attacks are a key measure to evaluate privacy leakage in machine learning (ML) models. These attacks aim to distinguish training members from non-members by exploiting differential behavior of the models on member and non-member inputs. The goal of this work is to train ML models that have high membership privacy while largely preserving their utility; we therefore aim for an empirical membership privacy guarantee as opposed to the provable privacy guarantees provided by techniques like differential privacy, as such techniques are shown to deteriorate model utility. Specifically, we propose a new framework to train privacy-preserving models that induces similar behavior on member and non-member inputs to mitigate membership inference attacks. Our framework, called SELENA, has two major components. The first component and the core of our defense is a novel ensemble architecture for training. This architecture, which we call Split-AI, splits the training data into random subsets, and trains a model on each subset of the data. We use an adaptive inference strategy at test time: our ensemble architecture aggregates the outputs of only those models that did not contain the input sample in their training data. We prove that our Split-AI architecture defends against a large family of membership inference attacks, however, it is susceptible to new adaptive attacks. Therefore, we use a second component in our framework called Self-Distillation to protect against such stronger attacks. The Self-Distillation component (self-)distills the training dataset through our Split-AI ensemble, without using any external public datasets. Through extensive experiments on major benchmark datasets we show that SELENA presents a superior trade-off between membership privacy and utility compared to the state of the art.

研究の動機と目的

• モデルの有用性を保ちながら、プライバシー漏洩を顕著に低減する実験的メンバーシップ推定防御の開発。
• 公式的なプライバシー保証を提供するが、モデルの有用性を著しく低下させる傾向がある微分プライバシーの限界を克服すること。
• ブラックボックス環境下での直接的単一クエリ攻撃および適応的複数クエリ攻撃の両方に対する防御。
• 外部の公開データセットに依存しないように設計することで、実世界への実装可能性を高めること。
• 既存の最先端の実験的防御と比較して、メンバーシッププライバシーとモデル有用性のトレードオフをより優れたものにすること。

提案手法

• Split-AI：訓練データをK個のランダムなサブセットに分割し、各サブモデルを別個のサブセットで訓練する。
• 適応的推論：テスト時、入力サンプルが訓練データに含まれていないサブモデルの予測のみを集約する。
• 自己蒸留：外部データセットを一切使用せずに、Split-AIアンサンブルを通じて訓練データを蒸留し、適応的攻撃に対する耐性を高める。
• アンサンブルアーキテクチャにより、メンバーと非メンバーの両方に対して類似したモデル行動を実現し、予測の区別可能性を低減する。
• 防御は訓練中からエンドツーエンドに適用され、標準的なアンサンブル推論を超える追加の推論コストを発生させない。
• 防御の有効性を検証するために、ラベルのみの攻撃や適応的攻撃を含む複数の攻撃バージョンを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 サブモデルが訓練データを含まないアンサンブルアーキテクチャは、メンバーシップ推定攻撃に対して防御に有効か？
• RQ2 自己蒸留は、適応的メンバーシップ推定攻撃に対する防御強化にどの程度効果的か？
• RQ3 最先端の実験的防御と比較して、メンバーシッププライバシーとモデル有用性のトレードオフはいかなるものか？
• RQ4 公開データセットや微分プライバシー機構に依存せずに、防御が有効に機能するか？
• RQ5 Split-AIにおける適応的推論戦略は、単一クエリ攻撃および複数クエリ攻撃の両方に対する耐性にどのように影響するか？

主な発見

• SELENAは、MemGuardと比較して最大3.7倍、敵対的正則化と比較して最大2.1倍、ランダム推測よりもメンバーシップ推定攻撃の優位性を低下させる。
• ベンチマークデータセットでは、防御されていないベースラインと比較して分類精度の低下が3.9%未満に抑えられる。
• Split-AIは、メンバーと非メンバーの両方で類似した予測行動を実現することで、直接的単一クエリ攻撃に対して効果的に防御する。
• 自己蒸留は、外部データを必要とせず、ラベルのみの攻撃や複数クエリ攻撃を含むより強力な適応的攻撃に対しても耐性を高める。
• CIFAR-10、SVHN、ImageNetの各データセットで、既存の実験的防御と比較してプライバシー保護とモデル有用性の両面で優れており、より優れたトレードオフを達成する。
• ブラックボックス、ラベルのみ、適応的メンバーシップ推定攻撃を含む多様な攻撃シナリオにおいて、フレームワークの堅牢性が確認された。