[論文レビュー] User-Level Membership Inference Attack against Metric Embedding Learning

Guoyao Li, Shahbaz Rezaei+1 more|arXiv (Cornell University)|Mar 4, 2022

Autopsy Techniques and Outcomes被引用数 10

ひとこと要約

この論文は、正確な訓練サンプルへのアクセスを必要とせずに、潜在空間におけるクラスタの密着度を用いて、特定のユーザーの画像が訓練に使われたかどうかを判断するユーザー単位のメンバーシップ推定攻撃を提案する。この方法は、平均的なクラスタ中心への距離と平均的なペアワイズ距離を特徴量として用いることで、Market-1501で最高91.73%の精度を達成し、現実的な制約下でも既存の攻撃を上回る。

ABSTRACT

Membership inference (MI) determines if a sample was part of a victim model training set. Recent development of MI attacks focus on record-level membership inference which limits their application in many real-world scenarios. For example, in the person re-identification task, the attacker (or investigator) is interested in determining if a user's images have been used during training or not. However, the exact training images might not be accessible to the attacker. In this paper, we develop a user-level MI attack where the goal is to find if any sample from the target user has been used during training even when no exact training sample is available to the attacker. We focus on metric embedding learning due to its dominance in person re-identification, where user-level MI attack is more sensible. We conduct an extensive evaluation on several datasets and show that our approach achieves high accuracy on user-level MI task.

研究の動機と目的

• 記録単位のメンバーシップ推定攻撃には正確な訓練サンプルへのアクセスが必要であるという実用上の制限を解消すること—人物再識別のような実世界の応用では現実的ではない。
• 正確な訓練サンプルが入手不可能な状況でも、特定のユーザーの画像が訓練に使われたかどうかを判断できるユーザー単位のメンバーシップ推定攻撃を開発すること。
• 出力に信頼度スコアを備えないメトリクス埋め込み学習に、信頼度に基づくメンバーシップ推定攻撃を適用する課題を克服すること。
• 特にクラスタの密着度という潜在空間の構造的性質を活用することで、メトリクス埋め込みモデルにおける有効なメンバーシップ推定を可能にする手法を設計すること。

提案手法

• 攻撃は2つの主要な特徴量を用いる：ユーザーの訓練外画像群の平均的なクラスタ中心への距離（C_u）と、それら画像間の平均的なペアワイズ距離（P_u）、両者とも潜在空間で計算される。
• 訓練に使われたユーザーの画像は、潜在空間でより密なクラスタを形成すると仮定し、この仮定は複数のデータセットで実証的に検証されている。
• これらの密着度特徴量を用いて二値分類器を構築し、ターゲットユーザーの画像が訓練セットに含まれたかどうかを予測する。
• モデルの信頼度や特定の増幅パターンに依存しないため、訓練時の未知のデータ増幅に対しても頑健である。
• 攻撃者が訓練増幅の詳細を把握していない状況でも、記録単位の攻撃（例：EncoderMI）をユーザー単位に適応した場合に比して優れた性能を示す。
• Market-1501とPRID-201で評価され、攻撃者がターゲットユーザーの訓練外画像しか入手できない状況でも高い精度を達成している。

実験結果

リサーチクエスチョン

• RQ1 正確な訓練サンプルが入手不可能な状況でも、メトリクス埋め込みモデルにおいてユーザー単位のメンバーシップ推定攻撃を効果的に適用できるか？
• RQ2 信頼度スコアが欠落するメトリクス埋め込み学習において、どのようにしてメンバーシップ推定を達成できるか？
• RQ3 潜在空間におけるユーザー固有のクラスタの密着度は、訓練セットへの所属と相関するか？ また、この相関関係を推定に活用できるか？
• RQ4 攻撃者の知識レベルが異なる状況下で、提案手法のユーザー単位攻撃は、適応された記録単位攻撃（例：EncoderMI）と比較してどの程度の性能を示すか？
• RQ5 訓練画像への部分的アクセスが、ユーザー単位のメンバーシップ推定の精度に及ぼす影響は何か？

主な発見

• 攻撃者がターゲットユーザーの訓練外画像しか入手できない状況で、Market-1501では66.87%、PRID-201では74.27%の精度を達成した。
• 攻撃者が訓練画像の75%にアクセスできる場合、Market-1501では90.00%、PRID-201では78.40%の精度に向上した。
• 訓練画像を100%アクセスできる状況では、Market-1501で91.73%の精度、PRID-201で78.07%の精度を達成し、Market-1501では正確度が100.0%に達した。
• アブレーションスタディの結果、C_uとP_uの両方の特徴量を用いることで最も高い精度（Market-1501で66.87%）が得られ、単一の特徴量を用いても良好な性能を示した。
• EncoderMIが訓練増幅の詳細を完全に把握している状況でも、本手法はそれを上回る性能を示し、クラスタの密着度アプローチの優位性を裏付けた。
• 信頼度に基づく攻撃がメトリクス埋め込み環境で失敗するのとは異なり、本手法は攻撃者がデータ増幅の詳細を限定的にしか把握しない現実的な状況でも効果を発揮した。