[論文レビュー] Membership Inference Attacks Against Recommender Systems

Minxing Zhang, Zhaochun Ren+5 more|arXiv (Cornell University)|Sep 16, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用数 8

ひとこと要約

本論文は、ユーザレベルのプライバシーを標的にするレコメンデーションシステムに対する、最初のメンバーシップ推定攻撃フレームワークを提示する。ユーザのインタラクションパターンとシャドウレコメンデーションシステムを用いた新規手法により、攻撃用のトレーニングデータを生成し、実世界のデータセットで最高AUC 0.873を達成した。また、効果的な防御機構として「パopularity Randomization」を導入した。

ABSTRACT

Recently, recommender systems have achieved promising performances and become one of the most widely used web applications. However, recommender systems are often trained on highly sensitive user data, thus potential data leakage from recommender systems may lead to severe privacy problems. In this paper, we make the first attempt on quantifying the privacy leakage of recommender systems through the lens of membership inference. In contrast with traditional membership inference against machine learning classifiers, our attack faces two main differences. First, our attack is on the user-level but not on the data sample-level. Second, the adversary can only observe the ordered recommended items from a recommender system instead of prediction results in the form of posterior probabilities. To address the above challenges, we propose a novel method by representing users from relevant items. Moreover, a shadow recommender is established to derive the labeled training data for training the attack model. Extensive experimental results show that our attack framework achieves a strong performance. In addition, we design a defense mechanism to effectively mitigate the membership inference threat of recommender systems.

研究の動機と目的

• レコメンデーションシステムにおけるプライバシー漏洩を、ユーザレベルのメンバーシップ推定攻撃を通じて定量化すること。
• 後方確率を観測できない状況という制限された敵のアクセス状況に対処すること。
• 攻撃者が、ターゲットレコメンデーションシステムのトレーニングに使用されたユーザのデータが含まれているかどうかを推定する手法を開発すること。
• レコメンデーションシステムにおけるメンバーシップ推定脅威を効果的に緩和する防御機構を設計すること。
• データセットの密度、推薦アルゴリズムの複雑さ、特徴量分布の類似性が攻撃性能に与える影響を評価すること。

提案手法

• 観測された推薦リストから、アイテムとのインタラクションパターンを用いてユーザレベルの特徴量ベクトルを構築する。
• ターゲットシステムと同一のアルゴリズムとデータ分布を用いてシャドウレコメンデーションシステムを訓練し、攻撃モデル用のラベル付きトレーニングデータを生成する。
• シャドウシステムの出力を用いて、トレーニングデータ内/外のメンバーシップ状態をシミュレートし、メンバーシップ推定モデルを構築する。
• 推薦リスト内の順序情報を利用した攻撃モデルを設計し、推定に不可欠な好みのパターンを捉える。
• 「パopularity Randomization」として防御を導入：トレーニング中にアイテムの人気度スコアを摂動させ、メンバーシップ信号を曇らせる。
• シャドウシステムの出力から導出された特徴量ベクトルを用いて攻撃モデルをトレーニングし、未観測のターゲットシステムへ一般化可能であるようにする。

実験結果

リサーチクエスチョン

• RQ1 ランク付けられた推薦リストしか公開されない状況下で、レコメンデーションシステムに対してメンバーシップ推定攻撃を効果的に実行できるか？
• RQ2 ユーザレベルのメンバーシップ推定攻撃は、従来のデータサンプルレベルの攻撃と比べて、実行可能性と影響の面でどのように異なるか？
• RQ3 シャドウシステムとターゲットシステムの間の分布類似性が、攻撃成功に果たす役割は何か？
• RQ4 データセットの密度と推薦アルゴリズムの複雑さは、メンバーシップ推定攻撃の効果にどのように影響するか？
• RQ5 「パopularity Randomization」は、推薦品質の低下を伴わずに、メンバーシップ推定攻撃を効果的に緩和できるか？

主な発見

• 提案された攻撃は、ml-1mデータセットで平均AUC 0.873を達成し、現実的でブラックボックスな条件下でも強力な性能を示した。
• 攻撃性能は、ml-1mのような密度の高いユーザ-アイテム行列で最も高くなる。これは、特徴学習に必要な豊富なインタラクション信号があるためである。
• Item-based Collaborative Filteringのような単純な推薦アルゴリズムは、防御が施されても高い攻撃成功率を示し、脆弱性が顕著である。
• 攻撃性能は、シャドウシステムとターゲットシステムの特徴量分布の類似性に強く依存する。
• 「パopularity Randomization」防御は、攻撃成功確率を顕著に低下させ、複数のデータセットとアルゴリズムで強力な緩和効果を示した。
• 攻撃は異なる推薦アルゴリズムやデータセットへも良好に一般化され、提案フレームワークの広範な適用可能性と高い耐性を示している。