[論文レビュー] Subject Membership Inference Attacks in Federated Learning
本稿は、正確なトレーニング記録にアクセスできない状況下で、特定の個人のデータがトレーニングに使用されたかどうかを推定する、クロスシロフェデレーテッドラーニングにおける被験者メンバーシップインファレンス攻撃を導入する。ブラックボックス攻撃を2つ提案する—1つは損失のしきい値に基づくもので、もう1つはトレーニングラウンドにわたるモデル更新を活用するもので、被験者分布の知識が限られている状況でも高い成功率を示し、既存のフェデレーテッドラーニングのプライバシーモデルにおける重要なプライバシーガップを浮き彫りにする。
Privacy attacks on Machine Learning (ML) models often focus on inferring the existence of particular data points in the training data. However, what the adversary really wants to know is if a particular individual's (subject's) data was included during training. In such scenarios, the adversary is more likely to have access to the distribution of a particular subject than actual records. Furthermore, in settings like cross-silo Federated Learning (FL), a subject's data can be embodied by multiple data records that are spread across multiple organizations. Nearly all of the existing private FL literature is dedicated to studying privacy at two granularities -- item-level (individual data records), and user-level (participating user in the federation), neither of which apply to data subjects in cross-silo FL. This insight motivates us to shift our attention from the privacy of data records to the privacy of data subjects, also known as subject-level privacy. We propose two novel black-box attacks for subject membership inference, of which one assumes access to a model after each training round. Using these attacks, we estimate subject membership inference risk on real-world data for single-party models as well as FL scenarios. We find our attacks to be extremely potent, even without access to exact training records, and using the knowledge of membership for a handful of subjects. To better understand the various factors that may influence subject privacy risk in cross-silo FL settings, we systematically generate several hundred synthetic federation configurations, varying properties of the data, model design and training, and the federation itself. Finally, we investigate the effectiveness of Differential Privacy in mitigating this threat.
研究の動機と目的
- 複数の組織に分散された個人データが関与するクロスシロフェデレーテッドラーニングにおいて、被験者に対するプライバシープロテクションのギャップを是正すること。
- 現実の攻撃者は特定のデータレコードではなく個人を標的とすることが多いことから、アイテムレベルやユーザーレベルのプライバシーではなく、被験者レベルのプライバシーを必要とすること。
- モデル予測と被験者分布からの限定的サンプルのみにアクセス可能な、被験者レベルプライバシーに特化したブラックボックスメンバーシップインファレンス攻撃を開発すること。
- 多様な合成フェデレーション構成において、被験者メンバーシップインファレンスリスクを体系的に評価し、主な影響要因を同定すること。
- クロスシロフェデレーテッドラーニングにおける被験者レベルメンバーシップインファレンス脅威を緩和するための微分プライバシーの有効性を評価すること。
提案手法
- 最終グローバルモデル上でターゲット被験者のデータサンプルの損失を計算し、その損失が学習済みしきい値未満に達するかどうかをチェックすることで、メンバーシップを推定する『ロスしきい値攻撃』を提案する。
- 複数のトレーニングラウンドにわたって被験者サンプルの損失変化を追跡し、トレーニングデータに含まれていることを示すパターンを検出することで、メンバーシップを推定する『ロスアラウンドス攻撃』を導入する。
- シャロウモデルや大規模な再トレーニングを必要とせず、既知の含む／含まない被験者を少量用いてしきい値パラメータをチューニングする。
- 被験者データを含んでトレーニングされたモデルは、非含む被験者に対して比べてその被験者のデータに対して低い損失を示すという仮説を採用する。
- 各トレーニングラウンド後に得られるグローバルモデルの予測にアクセスできることを活用し、誠実だが好奇心の強いサーバーや参加者という脅威モデルでも攻撃が可能であることを示す。
- 実世界のデータセットと合成フェデレーションを用いて、攻撃の性能をデータ、モデル、フェデレーション構成の変動に応じて評価する。
実験結果
リサーチクエスチョン
- RQ1攻撃者が正確なトレーニング記録にアクセスできない状況下で、特定のデータ被験者のデータがフェデレーテッドラーニングのトレーニングに使用されたかどうかをどれだけ正確に推定できるか。
- RQ2被験者メンバーシップインファレンス攻撃の性能は、異なるデータ分布、モデルアーキテクチャ、フェデレーション構成においてどのように変化するか。
- RQ3最終モデルのみに依存するアプローチと比較して、トレーニングラウンドにわたるモデル更新が、被騟能力の推定精度をどのように向上させるか。
- RQ4微分プライバシーは、クロスシロフェデレーテッドラーニングにおける被験者レベルメンバーシップインファレンス攻撃に対してどれほど効果的か。
- RQ5システムレベル要因（例：データ分布、モデルサイズ、クライアント数）の中で、フェデレーテッドラーニングにおける被験者プライバシーリスクに最も顕著に影響を与えるものは何か。
主な発見
- 提案された被験者メンバーシップインファレンス攻撃は、正確なトレーニングデータにアクセスできない状況でも高い成功率を示し、わずか数名の既知の含む／含まない被験者でのチューニングでも強力な性能を発揮する。
- ロスアラウンドス攻撃は、時間的モデル挙動を活用することで、ロスしきい値攻撃を著しく上回り、多様な構成において改善された検出精度を示す。
- 被験者プライバシーリスクは、データ分布の特性、モデル容量、参加クライアント数に強く依存しており、より集中的または偏ったデータ設定で高いリスクが観察される。
- 微分プライバシーは被験者メンバーシップインファレンスリスクを測定可能なレベルで緩和するが、完全に排除することはできず、特に高効用性または低ノイズ環境では依然としてリスクが残る。
- 攻撃者がターゲット被験者の分布からわずか数サンプルしか得られない場合でも攻撃は有効に機能するため、被験者レベルプライバシーは重要かつ保護が不十分な脅威表面である。
- 合成フェデレーション実験から、クライアント間でのデータオーバーラップやモデル収束パターンが、被験者メンバーシップの強力な指標であることが明らかになり、従来のメンバーシップインファレンスを超える新たな攻撃ベクトルが示唆される。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。