[論文レビュー] One Parameter Defense -- Defending against Data Inference Attacks via Differential Privacy

Dayong Ye, Sheng Shen+3 more|arXiv (Cornell University)|Mar 13, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、1つのプライバシー予算パラメータを用いて、信頼度スコアベクトルを摂動させることで、メンバーシップ推定攻撃およびモデル逆転攻撃の両方に対して、時間効率的かつ微分プライバシーを満たす防御機構を提案する。この手法は、スコアの順序を維持することで分類精度を保ちながら、指数的機構に基づくノイズ注入によってメンバーシップ情報および再構成情報を隠蔽することで、プライバシーを強化する。

ABSTRACT

Machine learning models are vulnerable to data inference attacks, such as membership inference and model inversion attacks. In these types of breaches, an adversary attempts to infer a data record's membership in a dataset or even reconstruct this data record using a confidence score vector predicted by the target model. However, most existing defense methods only protect against membership inference attacks. Methods that can combat both types of attacks require a new model to be trained, which may not be time-efficient. In this paper, we propose a differentially private defense method that handles both types of attacks in a time-efficient manner by tuning only one parameter, the privacy budget. The central idea is to modify and normalize the confidence score vectors with a differential privacy mechanism which preserves privacy and obscures membership and reconstructed data. Moreover, this method can guarantee the order of scores in the vector to avoid any loss in classification accuracy. The experimental results show the method to be an effective and timely defense against both membership inference and model inversion attacks with no reduction in accuracy.

研究の動機と目的

• 機械学習におけるデータ推定攻撃の増大する脅威に対処すること、特に信頼度スコアベクトルを利用した攻撃に焦点を当てる。
• 多くの既存手法が果たせないまま、メンバーシップ推定攻撃とモデル逆転攻撃の両方に対して同時に防御できる防御を構築すること。
• 再訓練を必要とせず、既存のモデルに対して適用可能な時間効率の良いソリューションを提供すること。
• 分類精度を損なわず、1つの調整可能なパrameter（プライバシー予算）を用いてプライバシーを最大化すること。
• 再訓練が不可能な実世界の応用においても実用的かつ導入可能な、すでに訓練済みのモデル向けの防御を提供すること。

提案手法

• この手法は、指数的機構を用いて信頼度スコアベクトルに微分プライバシーを適用し、スコアを摂動および正規化する。
• 摂動の程度を制御する唯一のパrameter（プライバシー予算ε）を調整することで、シンプルでありながら効果的な防御を実現する。
• 摂動プロセスにより、信頼度スコアの相対的順序が保持されるため、分類精度が維持される。
• 推論後処理として適用されるため、再訓練を必要とせず、すでにデプロイ済みのモデルとも互換性がある。
• 指数的機構により、識別が難しいスコアベクトルに高い確率が割り当てられ、攻撃の成功率が低下する。
• 信頼度スコアから特徴的な情報を除去することで、メンバーシップ情報とデータ再構成の両方を隠蔽するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 1つのパrameterで構成される防御機構は、メンバーシップ推定攻撃およびモデル逆転攻撃の両方に対して効果的に保護できるか？
• RQ2 プライバシー予算εが、信頼度スコア摂動におけるプライバシーと有効性のトレードオフにどのように影響するか？
• RQ3 攻撃の成功率を著しく低下させつつ、高い分類精度を維持できるか？
• RQ4 再訓練を伴わず、すでにデプロイ済みのモデルに対しても適用可能か？
• RQ5 プライバシーと有効性のトレードオフおよび計算オーバーヘッドの観点から、既存の防御と比較してどのように差がつくか？

主な発見

• MNIST、Fashion-MNIST、CIFAR-10の各データセットにおいて、プライバシー予算εにかかわらず、分類精度が100%を維持する。
• メンバーシップ推定攻撃の精度はεが増加するにつれて著しく低下し、この攻撃タイプに対する強力な保護が実証された。
• モデル逆転攻撃の結果から、εが小さいほど再構成画像がぼやけていくことが確認され、機微なデータの隠蔽が有効に行われていることが示された。
• εが増加するにつれて信頼度スコアの歪みが減少し、これはメンバーシップ推定の精度が上昇することと相関しており、プライバシー予算のチューニングに対する本手法の感受性が裏付けられた。
• さまざまなε値においても復元誤差は比較的安定しており、攻撃モデルの性能が防御による摂動レベルの変化に著しく影響を受けないことが示された。
• 特に時間制約がある場合や、デプロイ後における状況において、精度を維持しながら強力なプライバシー保証を提供する点で、既存の防御を上回っている。