[論文レビュー] On the Importance of Difficulty Calibration in Membership Inference Attacks

Lauren Watson, Chuan Guo+2 more|arXiv (Cornell University)|Nov 15, 2021

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

この論文では、同じデータ分布で訓練された参照モデルのメンバーシップスコアと比較することで、標本のメンバーシップスコアを調整する「難易度キャリブレーション」を導入し、メンバーシップ推定攻撃における偽陽性率の低減を図る。この手法は、精度とAUCを著しく向上させ（最大0.10のAUC向上）、精度を損なわずに実現する。その結果、メンバーが非メンバーに比べて圧倒的に多い現実世界の状況でも、攻撃の信頼性が向上する。

ABSTRACT

The vulnerability of machine learning models to membership inference attacks has received much attention in recent years. However, existing attacks mostly remain impractical due to having high false positive rates, where non-member samples are often erroneously predicted as members. This type of error makes the predicted membership signal unreliable, especially since most samples are non-members in real world applications. In this work, we argue that membership inference attacks can benefit drastically from \\emph{difficulty calibration}, where an attack's predicted membership score is adjusted to the difficulty of correctly classifying the target sample. We show that difficulty calibration can significantly reduce the false positive rate of a variety of existing attacks without a loss in accuracy.

研究の動機と目的

• 現存するメンバーシップ推定攻撃における高い偽陽性率（FPR）が、メンバーが極めて少ない現実世界のシナリオで信頼性を損なう問題に対処する。
• メンバーと非メンバーのメンバーシップスコア分布の重なりが、スコアベースの攻撃における高いFPRの主な要因であることを示す。
• 同じデータ分布で訓練された参照モデルに対する相対的なスコアを測定することで、メンバーシップ推定の信頼性を向上させる一般化可能な技術「難易度キャリブレーション」を提案する。
• 特にメンバー対非メンバーの比率が低い状況下でも、真陽性率と偽陽性率のトレードオフが優れていることを示す。
• 複数のメンバーシップスコア関数（信頼度、損失、勾配ノルム）とベンチマークデータセットを用いて、難易度キャリブレーションの有効性を評価する。

提案手法

• 難易度キャリブレーションは、ターゲットモデルのスコアを、同じデータ分布で訓練された参照モデルのスコアと比較することで、標本がターゲットモデルに対してどれほど難易度が高いかを測定する。
• 「忘却を用いたキャリブレーション」を用いて、特定のデータポイントを忘れることで参照モデルを訓練し、ベースライン難易度の効率的かつ正確な推定を可能にする。
• 各標本に対して、キャリブレーション済みメンバーシップスコアは、ターゲットモデルのスコアと参照モデルの平均スコアの差として計算され、メンバーと非メンバーの分布の分離が向上する。
• 信頼度、負の損失、勾配ノルムの複数のスコア関数にこの手法を適用し、広範な適用可能性を示した。
• ROC曲線と精度-再現率曲線を用いて評価し、真陽性と偽陽性のトレードオフをAUCで定量的に評価した。
• ホワイトボックスアクセスが可能な場合、神経ネットワークの急激な忘却を利用することで、参照モデルを再訓練せずに計算が効率的に行える。

実験結果

リサーチクエスチョン

• RQ1 難易度キャリブレーションは、攻撃の精度を損なわず、偽陽性率を著しく低減できるか？
• RQ2 メンバー対非メンバーの比率が低い現実のデータ分布下で、キャリブレート済み攻撃と未キャリブレート攻撃の性能はどのように異なるか？
• RQ3 難易度キャリブレーションは、メンバーシップ推定攻撃における精度と再現率のトレードオフをどの程度改善するか？
• RQ4 参照モデルの数とその学習データサイズを増加させると、キャリブレート済み攻撃の性能にどのような影響を与えるか？
• RQ5 特にプライバシー保護パrameter ε が大きい場合、難易度キャリブレーション済み攻撃は、プライバシー保護付きモデルに対しても依然として有効か？

主な発見

• 難易度キャリブレーションは、攻撃の精度を維持または向上させつつ、メンバーシップ推定攻撃の偽陽性率を低減し、現実世界の状況での信頼性を向上させる。
• キャリブレート済み損失スコア攻撃は、CIFAR-10 や ImageNet といった標準ベンチマークで、未キャリブレート攻撃に比べ最大0.10のAUC向上を達成した。
• メンバー対非メンバーの比率が極めて低い（例：1:100）状況下でも、キャリブレート済み攻撃は低再現率で高い精度（例：>0.9）を維持するが、未キャリブレート攻撃は高い精度を達成できない。
• 参照モデルの数と学習データサイズを増加させることで、AUCと精度が向上し、参照モデルを1つから10つに増やすことでAUCは最大0.05、精度は最大0.03向上した。
• ε=1000 という大きなプライバシー保護パrameterを持つ差分プライバシー付きモデルに対しても、キャリブレート済み攻撃は非自明な精度と再現率を達成する一方、未キャリブレート攻撃は著しく性能を落とす。
• ε=1000 の差分プライバシー付き環境下で正しく推定された標本を手動で検査した結果、明確なパターンは認められず、脆弱性が極端な外れ値に限定されるのではなく、微細な記憶効果に起因する可能性があることが示唆された。