[論文レビュー] Membership Inference Attacks and Defenses in Neural Network Pruning

Xiaoyong Yuan, Lan Zhang|arXiv (Cornell University)|Feb 7, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、剪定されたニューラルネットワークにおけるメンバーシップ推定攻撃（MIA）の包括的分析を初めて提示し、メンバーと非メンバー間の予測差異が高まるため、剪定によってプライバシー漏洩が増加することを示している。本稿では、既存の攻撃を上回る性能を示す自己注意機構を用いたMIAを提案するとともに、KL発散に基づく防御手法を導入し、モデルのスパarsityと精度を維持したままプライバシーリスクを低減している。

ABSTRACT

Neural network pruning has been an essential technique to reduce the computation and memory requirements for using deep neural networks for resource-constrained devices. Most existing research focuses primarily on balancing the sparsity and accuracy of a pruned neural network by strategically removing insignificant parameters and retraining the pruned model. Such efforts on reusing training samples pose serious privacy risks due to increased memorization, which, however, has not been investigated yet. In this paper, we conduct the first analysis of privacy risks in neural network pruning. Specifically, we investigate the impacts of neural network pruning on training data privacy, i.e., membership inference attacks. We first explore the impact of neural network pruning on prediction divergence, where the pruning process disproportionately affects the pruned model's behavior for members and non-members. Meanwhile, the influence of divergence even varies among different classes in a fine-grained manner. Enlighten by such divergence, we proposed a self-attention membership inference attack against the pruned neural networks. Extensive experiments are conducted to rigorously evaluate the privacy impacts of different pruning approaches, sparsity levels, and adversary knowledge. The proposed attack shows the higher attack performance on the pruned models when compared with eight existing membership inference attacks. In addition, we propose a new defense mechanism to protect the pruning process by mitigating the prediction divergence based on KL-divergence distance, whose effectiveness has been experimentally demonstrated to effectively mitigate the privacy risks while maintaining the sparsity and accuracy of the pruned models.

研究の動機と目的

• ニューラルネットワークの剪定がトレーニングデータのプライバシーに与える影響、特にメンバーシップ推定攻撃に関する影響を調査すること。
• 剪定が異なるクラスにわたるトレーニングメンバーと非メンバー間の予測差異に与える影響を分析すること。
• 剪定モデルに特化した、新たな効果的なメンバーシップ推定攻撃を開発すること。
• モデルのスパarsityや精度を損なわせることなく、プライバシー漏洩を緩和する防御メカニズムを提案すること。

提案手法

• 著者らは、剪定モデルにおける予測差異を分析し、メンバーと非メンバーで行動の不均衡が顕著に現れることを示している。
• ロジットにおけるサンプル間の関係をモデル化することで、メンバーシップ推定の性能を向上させるための自己注意メカニズムを設計している。
• メンバーと非メンバーの予測分布間のKL発散を最小化することで、識別可能性を低減する防御法を採用している。
• 剪定の再訓練フェーズに防御を統合することで、モデルのパフォーマンスを維持している。
• 複数の剪定戦略、スパarsityレベル、攻撃者知識の設定において、攻撃と防御を比較する実験を行っている。
• 攻撃と防御の評価は、制御されたアブレーションを用いてプライバシー効果を隔離するための標準的なビジョンベンチマークで実施されている。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの剪定は、モデルのメンバーシップ推定攻撃への感受性にどのように影響するか？
• RQ2 剪定は、メンバーシップ推定攻撃が利用可能なクラス固有の予測差異を引き起こすのか？
• RQ3 自己注意機構は、既存の攻撃と比較して、剪定モデルにおけるメンバーシップ推定性能を向上させることができるか？
• RQ4 KL発散に基づく緩和は、精度やスパarsityを損なわせることなく、剪定モデルにおけるプライバシー漏洩をどの程度低減できるか？
• RQ5 異なる剪定戦略および攻撃者知識のレベルにおいて、提案された攻撃と防御のパフォーマンスはどのように変化するか？

主な発見

• 提案された自己注意型メンバーシップ推定攻撃は、剪定モデルにおいて8種類の既存MIA手法よりも高い攻撃成功確率を達成している。
• 剪定は、特にクラス依存的に、メンバーと非メンバー間の予測差異を増大させ、プライバシーリスクを拡大している。
• KL発散に基づく防御は、モデルのスパarsityと精度を維持したまま、メンバーシップ推定攻撃の成功確率を顕著に低減している。
• この防御は、さまざまな剪定手法やスパarsityレベルにおいて有効であり、異なる剪定レジームにおいても頑健であることが示された。
• 攻撃性能は、剪定されていないモデルと比較して剪定モデルでより高く、剪定がプライバシー漏洩を悪化させることを示している。
• 実験では、高スパarsityレベルにおいても、防御はベースラインモデルの精度の1%以内を維持していることが示された。