[論文レビュー] On Inferring Training Data Attributes in Machine Learning Models

Benjamin Zi Hao Zhao, Hassan Jameel Asghar+2 more|arXiv (Cornell University)|Aug 28, 2019

Adversarial Robustness in Machine Learning参考文献 10被引用数 6

ひとこと要約

この論文は、メンバーシップインファレンス攻撃（MIAs）が属性インファレンス攻撃（AIAs）を信頼性高く支援できるという仮定に疑問を呈し、MIAsが訓練データのメンバーと類似する非メンバーを区別できないことを示している。著者らは、正確な一致ではなく近い妥当な属性値を特定することを目的とした緩い「近似属性インファレンス」モデルを提案し、類縁者に対してはMIAsの性能が低いものの、正確な一致ではなく近い妥当な属性値を回復できるという意味のある結果を得ている。

ABSTRACT

A number of recent works have demonstrated that API access to machine learning models leaks information about the dataset records used to train the models. Further, the work of \cite{somesh-overfit} shows that such membership inference attacks (MIAs) may be sufficient to construct a stronger breed of attribute inference attacks (AIAs), which given a partial view of a record can guess the missing attributes. In this work, we show (to the contrary) that MIA may not be sufficient to build a successful AIA. This is because the latter requires the ability to distinguish between similar records (differing only in a few attributes), and, as we demonstrate, the current breed of MIA are unsuccessful in distinguishing member records from similar non-member records. We thus propose a relaxed notion of AIA, whose goal is to only approximately guess the missing attributes and argue that such an attack is more likely to be successful, if MIA is to be used as a subroutine for inferring training record attributes.

研究の動機と目的

• 機械学習モデルにおけるメンバーシップインファレンス攻撃（MIAs）が、属性インファレンス攻撃（AIAs）を効果的に支援できるかどうかを調査すること。
• MIAsが訓練データのメンバーと類似する非メンバーを信頼性高く区別できるという仮定に疑問を呈すること。
• 正確な一致ではなく、近い妥当な属性値を特定することを目的とした緩い属性インファレンス形態「近似属性インファレンス」を提案すること。
• MIAsが異なるハミング距離におけるメンバーと非メンバーを区別する性能を実証的に評価すること。
• 現在のMIAsベースのAIAアプローチの限界を評価し、代替の攻撃モデルを検討すること。

提案手法

• 著者らは、与えられた距離尺度を用いて特徴空間で近い非メンバーとメンバーを区別するタスクを「強いメンバーシップインファレンス」と定義する。
• 彼らは、真の欠落属性に近いベクトルを出力することを目的とし、正確な一致を必要としない緩いAIAの変種として「近似属性インファレンス」を導入する。
• 実験は、Location-30およびPurchases-2,10,20,50,100データセット上で訓練されたニューラルネットワークモデルを用い、モデル出力からの信頼度スコアをインファレンスの根拠としている。
• 訓練メンバーから制御されたハミング距離に位置する合成非メンバーのベクトルを生成し、MIAsの性能をさまざまな距離でテストする。
• MIAsの成功度は、最高の信頼度スコアを意思決定信号として用い、メンバーと非メンバーを識別する区別器の正確さを測定することで評価する。
• 攻撃は、推定されたベクトルと真のメンバーのベクトルとの平均ハミング距離を測定することで評価し、ランダム推測と比較する。

実験結果

リサーチクエスチョン

• RQ1 メンバーシップインファレンス攻撃は、特徴空間で類似する非メンバーと訓練データのメンバーを信頼性高く区別できるか？
• RQ2 非メンバーが訓練メンバーに近い場合、メンバーシップインファレンスの性能は著しく低下するか？
• RQ3 特にターゲットレコードが非メンバーに類似している場合、メンバーシップインファレンスをサブルーチンとして用いた属性インファレンス攻撃は成功するか？
• RQ4 MIAsが近縁者に対して失敗する状況でも、依然として有効な正確な属性インファレンスの代替策はあるか？
• RQ5 メンバーと非メンバー間のハミング距離が、信頼度スコアによる二者的な区別可能性にどのように影響するか？

主な発見

• メンバーシップインファレンス攻撃は、特徴空間で近い非メンバーと訓練データのメンバーを区別できず、ハミング距離が小さい場合にはランダム推測と同等の性能にとどまる。
• 非メンバーと最も近い訓練メンバーとの間のハミング距離が大きくなるにつれて、メンバーシップインファレンスの成功確率は顕著に向上する。
• Location-30データセットでは、提案された近似属性インファレンス攻撃が真のメンバーのベクトルからの平均ハミング距離約6.5を達成しており、ランダム推測の期待値7.5よりも顕著に優れている。
• 攻撃における推定されたベクトルの分布は、真のメンバーのベクトルの周辺に明確に集中しており、妥当な属性補完を効果的に特定できていることを示している。
• 結果として、MIAsが類縁非メンバーとの混同により正確な属性インファレンスに不適切である一方で、近似インファレンスには依然として有用であることが示された。
• 本研究は、欠落属性数が少なく、非メンバーが特徴空間で近縁である場合には、MIAsをAIAのサブルーチンとして使用できるという標準的仮定が誤りであることを示している。